残差网络 (ResNet)

Parent: ai_keywords

残差网络（ResNet）

核心定义

残差网络（Residual Network, ResNet）是由何恺明等人于2015年提出的一种深度卷积神经网络架构。其核心创新在于引入残差连接（skip connection），允许网络将输入信息直接跨层传递到后续输出，从而有效解决深层网络训练中的“退化问题”（即网络加深但准确率饱和甚至下降）。ResNet通过让网络学习恒等映射的残差函数 ( F(x) = H(x) - x )，而非直接学习目标映射 ( H(x) )，使得深层网络在反向传播时梯度得以顺畅流通，避免了梯度消失/爆炸，奠定了超深网络（如ResNet-152）的实用基础。

关键技术点

  1. 残差学习模块
    每个残差块包含若干卷积层，其输出与输入相加后再经激活函数。公式表示为 ( y = \mathcal{F}(x, {W_i}) + x )。当维度不匹配时，通过1×1卷积调整 ( x ) 的通道数或空间尺寸。

  2. 恒等映射与快捷连接
    残差块中的快捷连接（shortcut）直接复制输入到求和层，强迫网络在深层保持恒等映射能力。实验表明，即使新增的卷积层权重趋近于零，网络性能也不会退化。

  3. 瓶颈结构（Bottleneck）
    针对深层ResNet（如ResNet-50/101/152），为降低计算量，采用“1×1降维 → 3×3卷积 → 1×1升维”的三层结构。首尾1×1卷积分别用于压缩和恢复通道数，大幅减少参数量。

  4. 批量归一化（BN）与激活顺序
    标准ResNet在每个卷积后先做BN再激活（ReLU），最新的预激活变体（Pre-activation ResNet）则将BN和ReLU置于卷积之前，进一步改善梯度流。

医学/神经科学应用场景：阿尔茨海默病早期MRI诊断

首都医科大学神经病学团队曾联合北京脑重大疾病研究院，利用ResNet-18对轻度认知功能障碍（MCI）患者的海马区结构MRI数据进行分类。传统机器学习需人工提取海马体积、皮质厚度等特征，而ResNet通过三维残差块直接学习MRI体素层面的病理改变（如神经元丢失导致的灰质密度下降）。研究中，模型在处理海马亚区（CA1、齿状回）的微结构变化时，残差连接确保了深层非线性特征提取的稳定性，最终实现MCI向AD转化的早期识别准确率达91.2%（AUC=0.94）。该框架还进一步拓展至fMRI脑功能网络分析，利用二维残差块对静息态功能连接矩阵进行异常模式挖掘，为阿尔茨海默病的前驱期诊断提供了可解释的影像学标记。