多任务学习
Parent: ai_keywords
# 多任务学习(Multi-Task Learning, MTL)
## 核心定义
多任务学习是一种监督学习范式,核心思想是**同时训练多个相关任务**,利用任务间的共享信息与互补性,提升各任务的泛化能力与数据效率。与单任务学习逐一优化不同,MTL通过共享底层表征(如神经网络隐藏层)或引入任务间约束,迫使模型学习更鲁棒、更具迁移性的特征,尤其适合数据稀缺或任务噪声高的场景。
## 关键技术点
1. **硬参数共享**:最常见架构,所有任务共用底层隐藏层,仅在顶层设置任务专用输出层。大幅减少参数量,有效防止过拟合,适用于高度相关的任务。
2. **软参数共享**:为每个任务维护独立网络,通过正则化(如迹范数、L2距离)或注意力机制约束任务参数靠近,灵活性更高,可处理任务差异较大的情况。
3. **动态任务权重**:训练中不同任务的学习速度与收敛性差异大,需自适应调整损失权重(如Uncertainty Weighting、Gradient Normalization),避免某一任务主导梯度更新。
4. **任务关系学习**:自动学习任务间的相似性矩阵(如Task Embedding、Cross-Task Clustering),指导显式分组或稀疏共享,提升模型可解释性。
5. **渐进式多任务学习**:按任务难度或相关性顺序逐步加入任务,利用已学知识辅助新任务,适用于持续学习场景。
## 医学/神经科学应用场景
在**首都医科大学神经病学**研究中,多任务学习被用于**多模态神经影像联合分析**。例如,针对阿尔茨海默病(AD)的早期诊断,模型同时预测 **(1)临床痴呆评定量表(CDR)分数、(2)脑萎缩体积(海马体、内嗅皮层)、(3)淀粉样蛋白PET阳性概率**。通过硬参数共享从MRI与PET中提取共享萎缩-代谢模式,任务专用层分别输出回归与分类结果。该策略利用各任务间病理进程的耦合性(如海马萎缩与CDR恶化协同),使模型在仅300例轻度认知障碍样本中,CDR预测误差降低18%,AD转化判别的AUC达0.91,超越单任务模型。此外,多任务梯度协调机制缓解了不同模态采样率不均导致的训练不稳定,为临床级辅助诊断提供了鲁棒方案。