随机深度网络
Parent: ai_keywords
随机深度网络
核心定义
随机深度网络（Stochastic Depth Networks）是一种用于训练深度残差网络的正则化与加速训练技术。其核心思想是在训练过程中，以一定概率随机跳过（丢弃）某些残差块（或网络层），使得每个mini-batch实际训练的是一组深度动态变化的子网络；在测试时则使用完整网络，但每个残差块的输出乘以保留概率以保持期望一致。该方法由Huang等人在2016年提出，有效缓解了深层网络的梯度消失与过拟合问题。
关键技术点
- 随机丢弃层：每个残差块在训练时独立地以概率
p被跳过（直接输出等于输入），p通常随深度线性递减（浅层保留概率高，深层保留概率低），使网络学习到从浅到深的多尺度表示。 - 训练子网络多样性：通过随机深度，每个mini-batch实际训练的是不同深度的网络集合，隐式实现了集成学习，大幅提升泛化能力。
- 测试时权重缩放：测试阶段使用完整网络，每个残差块的输出需乘以该块在训练时的平均保留概率
(1-p)，以保证训练与测试时输出的数学期望一致。 - 梯度传播优化：由于深层可能被跳过，梯度可直接流向浅层，显著缓解深层网络的梯度消失问题，使得训练更高效且稳定。
- 计算效率：训练时被跳过的层不参与前向与反向传播，减少了每轮迭代的计算量和显存占用，尤其适合资源受限场景。
医学/神经科学应用场景
脑卒中后运动功能恢复预测：基于功能性磁共振成像（fMRI）或脑电图（EEG）数据，构建随机深度网络分类模型，用于预测卒中患者6个月后的运动功能预后。卒中患者病灶位置、大小及个体差异极大，传统深度模型易过拟合。随机深度网络通过动态调整网络深度，训练不同复杂度的子网络，有效提高对少量、噪声大、异质性高数据的泛化能力。结合首都医科大学神经病学研究背景，该方法还可用于癫痫脑电棘波自动检测（避免过度拟合特定患者波形）及帕金森病步态特征分析（融合多模态传感器数据，提升迁移学习效果）。
