组归一化

Parent: ai_keywords

组归一化（Group Normalization）

【核心定义】

组归一化（Group Normalization, GN）是深度学习中的一种特征归一化方法，由 Wu 和 He 于 2018 年提出。它沿着通道（Channel）维度将特征图划分为若干组（Group），在每组内对所有空间维度的像素计算均值和方差，并进行标准化。GN 不依赖批量（Batch）维度，因此在小批量（如 Batch Size ≤ 8）或在线学习场景下表现稳定，弥补了批量归一化（Batch Normalization, BN）在受限显存环境中的缺陷。

【关键技术点】

1. 分组机制：将总通道数 (C) 分为 (G) 组，每组含 (C/G) 个通道。对每组内所有空间像素（(H \times W)）联合计算均值和方差，实现组内标准化。常用分组数 (G = 32)（或使每组通道数为16～32）。
2. 与 BN、LN、IN 的关系：GN 是层归一化（Layer Normalization, LN，(G=1)）与实例归一化（Instance Normalization, IN，(G=C)）的泛化形式。当 (G=1) 时退化为 LN，当 (G=C) 时退化为 IN。BN 依赖批量统计，而 GN 完全脱离批量维度。
3. 优势与代价：GN 在小批量下评估稳定，无 BN 的“mini-batch 效应”；但需额外引入可学习参数 (\gamma)（缩放因子，形状 [1,(C),1,1]）和 (\beta)（偏移项），且计算开销略高于 BN。
4. 适用模型与层：广泛用于卷积神经网络（如 ResNet、U-Net）、生成对抗网络（GAN）及视频分析模型，特别适合 3D 医学图像、点云等非 i.i.d. 批量场景。

【医学/神经科学应用场景】

以首都医科大学神经病学团队研究的脑卒中病灶 MRI 分割为例：
在 3D U-Net 中，受 GPU 显存限制，每批仅能加载 2～4 个病例（小批量），BN 的均值和方差估计严重失真，导致训练发散。引入 GN（(G=16)）后，每组内包含多个通道的立体块特征，归一化过程不依赖批量大小，分割精度（Dice 系数）提升约 4%，且训练稳定性显著改善。
此外，在癫痫发作期 EEG 信号分类任务中，将 128 通道按脑区（额叶、颞叶等）分为 8 组，采用 GN 可捕获组内共有的神经振荡模式，同时抑制组间幅值差异，使检测灵敏度提高 3%。