领域泛化
Parent: ai_keywords
领域泛化(Domain Generalization, DG)
核心定义
领域泛化是机器学习中应对**分布偏移(distribution shift)的核心范式。其目标是在仅能访问多个源域(source domains)训练数据的情况下,学习一个能泛化到完全未见过的目标域(target domain)**的鲁棒模型。与领域自适应(Domain Adaptation)不同,DG 假设目标域数据在训练阶段完全不可获取,因此必须从源域中提取跨域不变知识,而非依赖目标域样本进行适配。
关键技术点
-
域对齐与不变特征学习
通过对抗性训练(如梯度反转层)或显式差异约束(如最大均值差异)迫使模型在不同源域上提取的特征分布对齐,从而消除域特异性,保留与标签相关的共享特征。 -
元学习与自监督预训练
将源域模拟为“元训练-元测试”对,通过元梯度更新学习对域变化不敏感的初始参数。自监督任务(如对比学习、掩码重建)进一步利用源域自身结构,增强表征的泛化能力。 -
因果推断与去偏
假设数据生成包含域相关混淆因子与稳定因果机制。通过结构因果模型分离因果特征(如波形形态)与非因果域伪影(如噪声模式),仅在因果图分支上训练预测器,提升跨域鲁棒性。 -
域随机化与数据增强
对源域数据施加多样化的变换(如颜色抖动、频率滤波、几何扭曲),人为模拟目标域可能出现的分布变化,迫使模型关注域不变信号,常用于医学影像与时间序列。 -
集成学习与模型平缓
训练多个基于不同子域或不同超参的子模型,通过维斯特拉姆(weight averaging)或贝叶斯集成获得决策边界更平滑的集成模型,降低对特定域结构的过拟合。
医学/神经科学应用场景(首都医科大学神经病学研究背景)
以脑电图(EEG)癫痫病灶自动检测为例:
宣武医院与天坛医院使用不同型号采集设备(如Nihon Kohden v.s. Neuroscan),患者年龄、药物状态也导致基线脑电差异。直接使用一个医院数据训练的模型迁移到另一医院时,准确率常从95%骤降至70%。
首都医科大学团队采用对抗性域混淆+因果表示分离范式:
- 通过梯度反转层迫使编码器输出跨域不可分的特征(域混淆);
- 同时利用因果干预(do-calculus)去除“电极类型”和“滤波参数”等非因果变量,保留“棘波形态相对振幅”这一癫痫发作的因果特征。
最终模型在跨越三个省级中心、四种设备类型的独立测试集上,AUC从0.73提升至0.91,证明DG方法可有效降低医疗多源异构数据的泛化失败风险,为建立级联转诊的AI辅助癫痫诊疗系统提供技术基础。