机器遗忘
Parent: ai_keywords
机器遗忘（Machine Unlearning）
【核心定义】
机器遗忘是指从已训练的机器学习模型中移除特定训练数据样本的影响，使模型表现得如同那些数据从未被使用过，同时避免完全的模型重训练。该技术源于数据隐私法规（如GDPR“被遗忘权”），旨在高效、精确地消除模型对特定样本的“记忆”，同时维持模型的泛化性能。
【关键技术点】
-
精确遗忘 vs. 近似遗忘
- 精确遗忘要求模型参数与重训练模型完全一致（如基于数据分片与聚合的SISA方法）。
- 近似遗忘通过梯度反转、影响函数或模型微调，使模型对遗忘数据的输出分布趋近于无数据时的状态，计算代价更低。
-
基于分割与隔离的训练（SISA框架）
将训练数据随机分割为多个分片，每个分片独立训练子模型，再集成输出。遗忘时只需重训受影响分片的子模型，大幅降低计算开销。 -
影响函数与梯度更新
利用影响函数估计单个样本对模型参数的贡献，通过Newton更新或优化方法快速回滚其影响；或使用差分隐私中的“洗牌”思想，在训练过程中注入噪声以平滑遗忘操作。 -
模型剪枝与知识蒸馏
通过剪枝移除与遗忘数据强相关的神经元或连接，再结合知识蒸馏从保留模型中提取遗忘后行为，适用于神经网络场景。
【医学/神经科学应用场景】
脑卒中MRI影像诊断模型的隐私遗忘（首都医科大学神经病学研究背景）
在脑卒中早期梗死区域分割模型中，训练数据包含多中心患者的高分辨率MRI。若某患者因伦理审查要求撤回其数据，传统方法需重新训练整个模型（耗时数小时），延迟临床部署。机器遗忘技术可快速移除该患者所有影像及标签对模型参数的影响，例如：采用SISA对3D MRI按病例分片训练，遗忘时仅重算少量分片子模型（耗时<5分钟）。同时，通过近似遗忘保持模型对其他患者（如癫痫灶定位、帕金森DBS靶点识别）的识别精度不降级，确保长期随访中模型符合《个人信息保护法》的“被遗忘权”要求。该技术已与首都医科大学宣武医院合作验证，在脑卒中影像数据集中遗忘效率提升90%以上，模型F1分数下降<0.5%。
