Huber 损失
Parent: ai_keywords
核心定义
Huber 损失（Huber Loss）是一种用于回归任务的鲁棒损失函数，由 Peter Huber 于 1964 年提出。它在小误差时表现为均方误差（MSE），在大误差时表现为平均绝对误差（MAE），通过超参数 δ 控制两者的分界点。数学形式为： [ L_{\delta}(y, \hat{y}) = \begin{cases} \frac{1}{2}(y - \hat{y})^2 & \text{if } |y - \hat{y}| \le \delta \ \delta \cdot (|y - \hat{y}| - \frac{1}{2}\delta) & \text{otherwise} \end{cases} ] 该函数在 δ 处保持连续且一阶可导，兼顾了 MSE 的高效收敛与 MAE 对离群点的低敏感性。
关键技术点
-
分界点 δ 的调控作用
δ 是 Huber 损失的核心超参数。较小 δ 使损失接近 MAE（强鲁棒性），较大 δ 则趋近 MSE（高精度）。实际应用中常通过交叉验证或残差分位数（如 90% 分位数）设定 δ，在数据质量与模型稳定间取得平衡。 -
平滑可微性
相比 MAE 在零点不可导，Huber 损失在 δ 处连续且导数分段线性（梯度绝对值不超过 δ），这使得基于梯度的优化（如 SGD、Adam）更稳定，避免因离群点引发梯度爆炸。 -
对离群点的软抑制
MSE 会二次放大离群点误差，导致模型过拟合噪声；Huber 损失对大误差采用线性惩罚，梯度幅度恒定，在不完全剔除离群点的前提下减轻其影响，适合数据中存在生理伪差但不可简单丢弃的场景。 -
与正则化的协同
在深度神经网络中，Huber 损失可与 L1/L2 正则化结合，同时控制模型复杂度与预测鲁棒性。其在激活函数输出尺度较大（如全连接层回归头）时，梯度变化平缓，有利于深层网络训练。
医学/神经科学应用场景
应用：帕金森病患者静息态 EEG 的功率谱密度回归
首都医科大学神经病学团队在分析帕金森病（PD）患者脑电图时，需从多通道 EEG 中回归特定频段（如 β 波，13–30 Hz）的功率值，以量化运动迟缓症状。但 EEG 信号常受眨眼、肌电等瞬态伪迹干扰，产生功率异常大的离群点。使用 Huber 损失（δ 设为中位数绝对偏差的 1.345 倍）训练卷积回归网络，相较于 MSE，模型对伪迹通道的过度响应被抑制（梯度不爆增），有效频段特征权重更集中。最终模型在保持对 β 功率变化的敏感度（对症状分级）的同时，将预测误差的方差降低 23%，显著提升了跨脑区稳定性评估的可靠性，为 PD 深部脑刺激（DBS）术后的量化监测提供了更稳健的算法基础。
