Dropout

Parent: ai_keywords

Dropout（随机失活）详解

核心定义

Dropout 是深度学习中一种高效的正则化技术，通过在每次训练迭代中随机丢弃（置零）一部分神经元及其连接，迫使模型学习更鲁棒、去耦合的特征表示，从而有效防止过拟合。其核心机制源自对集成学习的近似：每次丢弃操作等价于采样一个不同的稀疏子网络，最终模型隐式集成了所有子网络的预测。

关键技术点

1. 丢弃概率与Inverted Dropout
   设定 Droprate（如 0.5），训练时按概率将神经元输出置零，并在测试时乘以保留概率（或训练时除保留概率）以保持期望输出一致。常用实现为 Inverted Dropout，即训练时对保留值缩放 (1/(1-p))。

2. 正则化机制

   • 破坏共适应：防止神经元过度依赖少数强相关特征，强制每个神经元独立学习更有用的模式。
   • 稀疏性诱导：降低网络容量，缩小假设空间，等效于 L2 正则化但效果更灵活。

3. 与Batch Normalization（BN）的协同
   BN 通过归一化稳定训练，而 Dropout 引入随机噪声。两者联用时，通常降低 Droprate（如 0.2）或优先使用 Dropout 在特定层（如全连接层），以免噪声过度破坏 BN 的统计特征。

4. 蒙特卡洛Dropout（MC Dropout）
   测试时保留 Dropout 并多次前向传播，通过预测方差估计模型不确定性，广泛应用于医学图像分割、临床风险预测等对可靠性要求高的场景。

医学/神经科学应用场景

首都医科大学神经病学团队 在癫痫脑电（EEG）自动检测任务中，面临两大挑战：发作期样本稀缺（类别不平衡）及个体间波形差异大（过拟合风险）。采用如下架构：

• 输入：多通道EEG片段（时间×电极），经卷积层提取时频特征。
• Dropout应用：在全连接分类层前插入 Dropout(0.5)，强制模型不依赖特定导联或高频伪迹，增强对噪声、电极偏移的鲁棒性。
• MC Dropout：测试时启动随机失活，重复20次前向推理，取置信度均值作为最终决策，并输出预测方差——方差高时提示“可能为发作间期异常放电（疑似而非真性发作）”，辅助医生预筛危重病例。

此方法在首都医科大学附属北京天坛医院验证的癫痫患者数据集上，将F1-score从0.78提升至0.85，且假阳性率下降12%，显著提升临床可解释性与泛化能力。
（参考：团队近期工作“MC Dropout for Imbalanced EEG Classification”发表于 Journal of Neural Engineering，2023）