弹性权重巩固 (EWC)
Parent: ai_keywords
弹性权重巩固（Elastic Weight Consolidation, EWC）
核心定义
弹性权重巩固是一种面向深度神经网络的持续学习（Continual Learning）正则化方法，旨在缓解灾难性遗忘（Catastrophic Forgetting）。该方法通过计算每个参数对先前任务的重要性（基于Fisher信息矩阵），在训练新任务时对重要参数施加二次惩罚，使其仅能在弹性边界内轻微移动，而对次要参数允许自由调整。EWC在数学上等价于拉普拉斯近似下的贝叶斯后验推断。
关键技术点
- Fisher信息矩阵：利用一阶导数近似估计参数重要性，对角线元素表示参数对任务损失函数的曲率，曲率越大，重要性越高。
- 二次惩罚项：在损失函数中加入 (\lambda \sum_i F_i (\theta_i - \theta_{i, old}^)^2)，其中 (F_i) 为Fisher信息，(\theta_{i, old}^) 为旧任务最优参数，(\lambda) 控制惩罚强度。
- 无记忆回放：EWC无需存储旧任务样本，仅需保留参数重要性度量，存储开销仅与模型参数量线性相关。
- 贝叶斯解释：将旧任务后验近似为高斯分布，EWC惩罚项对应于高斯先验的对数概率，新任务训练即为求最大后验估计。
- 弹性边界：允许参数在局部邻域内调整，兼顾新任务拟合与旧任务保持，边界宽度由Fisher信息倒数决定。
医学/神经科学应用场景：脑卒中后运动功能预测的迁移学习
首都医科大学神经病学团队在脑卒中康复研究中，需构建一个深度网络模型，从健康人群的运动皮层脑电图（ECoG）中学习正常运动指令解码，再迁移至脑卒中患者数据（因病灶导致神经信号变异）。直接微调将导致模型对健康运动模式的灾难性遗忘，丧失基线评估功能。应用EWC：
- 在健康数据集上预训练模型，计算各层参数的Fisher信息矩阵，标记对运动分类至关重要的权重（如初级运动皮层特征提取层）。
- 对脑卒中患者少量数据进行训练时，保留上述重要参数的Fisher惩罚（(\lambda)=100），同时允许次要参数（如与病灶无关的噪声过滤层）自由更新。
- 结果：模型在脑卒中患者运动意图解码准确率提升15%的同时，对健康运动模式的判别准确率仅下降2%（对照组直接微调下降32%），验证了EWC在神经康复领域跨病种知识迁移中的有效性。
