偏差-方差权衡
Parent: ai_keywords
偏差-方差权衡
核心定义
偏差-方差权衡（Bias-Variance Tradeoff）是监督学习中的核心理论，指模型泛化误差可分解为偏差（模型预测值与真实值的系统性偏离，反映欠拟合程度）、方差（预测值对训练集波动的敏感度，反映过拟合程度）与不可约误差之和。模型复杂度提升会降低偏差但增加方差，反之亦然，最优复杂度对应两者平衡点使总误差最小。
关键技术点
-
偏差-方差分解
对平方损失函数，泛化误差 = 偏差² + 方差 + 噪声。偏差源于模型假设的局限性（如线性假设），方差源于训练数据随机性导致的模型波动。 -
过拟合与欠拟合的数学表征
高偏差 → 训练误差与测试误差均高（欠拟合）；高方差 → 训练误差极低但测试误差高（过拟合）。复杂度曲线呈U型，最优复杂度在谷底。 -
正则化方法
L1/L2正则化通过惩罚模型权重引入偏差，降低方差。λ增大→偏差↑方差↓；λ减小→偏差↓方差↑。交叉验证用于选择最优λ。 -
集成学习与偏差-方差关系
Bagging（如随机森林）通过降低方差提升泛化（保持偏差）；Boosting（如XGBoost）逐步降低偏差，但可能增加方差，需控制迭代次数。
医学/神经科学应用场景
首都医科大学神经病学研究案例：
在基于静息态功能磁共振成像（rs-fMRI）的阿尔茨海默病早期诊断中，深度卷积神经网络（CNN）自动提取脑网络特征。
- 高偏差模型：使用浅层线性分类器，忽略海马-默认模式网络连通性等关键多变量模式，导致对轻度认知障碍患者的漏诊率高达40%。
- 高方差模型：深残差网络（ResNet-50）在500例训练集达到99%准确率，但在外院30例验证集仅65%——因对扫描仪噪声与患者头动伪迹过度敏感（方差过大）。
- 权衡策略：首都医大团队采用集成L1正则化图卷积网络（GCN），通过剪枝冗余连接（保留7个核心脑区）将模型复杂度约束在U型曲线最低点，使跨中心泛化准确率提升至82%（较基线提高15个百分点）。该平衡点同时降低了临床部署时因数据分布偏移导致的性能崩坏风险。
