批量归一化

Parent: ai_keywords

批量归一化（Batch Normalization）

【核心定义】

批量归一化是一种深度神经网络训练中的标准化技术，通过对每个 mini-batch 的输入进行零均值化和单位方差化，并引入可学习的缩放参数 γ 和平移参数 β，以保持网络的表达能力。该技术有效缓解了内部协变量偏移（Internal Covariate Shift），显著加速训练收敛、提升梯度稳定性，并允许使用更高的学习率，同时带来轻微的正则化效果。

【关键技术点】

  1. 归一化计算
    对每个 mini-batch 计算均值 μB 和方差 σ2B，将输入 x 标准化为 (x - μB) / √(σ2B + ε)，其中 ε 为小常数防止除零。

  2. 可学习参数
    引入 γ 和 β 对标准化后的值进行仿射变换：y = γ · x̂ + β，使网络能够恢复原始分布所需的表达能力，避免信息丢失。

  3. 训练与推理解耦
    训练时使用 batch 统计量；推理时采用全局移动平均（EMA）统计量（μglobal, σ2global），确保预测确定性。

  4. 梯度流增强
    通过将输入分布约束在激活函数（如 Sigmoid/ReLU）的灵敏区，避免梯度饱和或消失，进而减小参数对初始化尺度的敏感性。

  5. 正则化效应
    由于 batch 统计量引入噪声，批量归一化对每个样本的表示产生轻微扰动，类似于 Dropout 的正则化作用，可降低过拟合风险。

【医学/神经科学应用场景】

以首都医科大学宣武医院神经病学团队的研究为例，在 阿尔茨海默病（AD）分类 任务中，团队采用深度残差网络（ResNet）处理静息态功能磁共振成像（rs-fMRI）数据。由于 rs-fMRI 信号信噪比低、个体差异大，直接训练网络易陷入梯度不稳定或收敛缓慢。通过在全连接层和卷积层后插入批量归一化层，模型在 AD 与健康对照的分类准确率提升约 6%（从 82.3% 增至 88.1%），且训练迭代次数减少 40%。此外，批量归一化对批大小（batch size）的鲁棒性使其适用于临床有限样本场景（batch size=16），成功抑制了梯度爆炸，为早期神经退行性疾病的深度学习辅助诊断提供了实用范式。