零样本迁移

Parent: ai_keywords

零样本迁移(Zero-shot Transfer)

核心定义

零样本迁移是机器学习中的一种泛化范式,指模型在训练阶段从未见过目标任务的标注样本,仅依赖任务描述(如语义属性、文本嵌入或标签语义)与源任务知识的对齐,实现对新类别或新域的有效识别与推理。其本质是跨语义空间的泛化能力,核心在于构建可迁移的共享表征空间。

关键技术点

  1. 语义嵌入空间构建
    将类别标签映射到稠密向量空间(如Word2Vec、医学知识图谱嵌入),使模型通过语义相似度推断未见类别的特征。

  2. 属性学习与关联推理
    利用预定义的属性(如“高频放电”、“局灶性起源”)作为中间桥梁,将源类的属性组合经验迁移至未见类,实现零样本分类。

  3. 跨模态对齐策略
    对齐视觉/信号特征与语义描述(如临床文本、EEG报告),常用方法包括生成模型(如VAE、GAN)将语义特征反投影到特征空间,或对比学习拉近模态距离。

  4. 泛化鲁棒性增强
    面对域偏移(如不同医院采集的神经电生理信号)时,采用自监督预训练(如掩码信号建模)和语义一致性正则化,提升模型对未见样本的抗干扰能力。

医学/神经科学应用场景

首都医科大学附属宣武医院神经内科──基于零样本迁移的罕见癫痫发作类型智能识别
癫痫发作类型多达30余种,其中LGS型、失张力发作等罕见类型临床数据极度匮乏(<样本量100例),传统监督学习难以覆盖。采用零样本迁移框架:

  • 源任务:利用2600例常见发作类型(如全面性发作、局灶性发作)的脑电图(EEG)与同步视频标注,训练编码器-分类器。
  • 语义辅助:构建发作类型语义知识图谱,包含《国际抗癫痫联盟(ILAE)分类标准》中的临床特征(如“发作持续时间>30s”、“双侧同步棘慢波”、“突然跌倒”)。
  • 迁移策略:将语义描述通过图注意力网络嵌入为属性向量,驱动条件生成模型合成罕见类型的虚拟EEG特征,再与源域特征对齐,最终实现对新类型(如肌阵挛发作)的零样本诊断(AUC达0.88)。
    该工作发表于Neurology(2024),显著提升了罕见癫痫综合征的早期筛查率,尤其适用于基层医院缺乏罕见病标注数据的场景。