对比学习

Parent: ai_keywords

对比学习（Contrastive Learning）

核心定义

对比学习是一种自监督表征学习方法，通过构造正负样本对，在潜在空间中使相似样本的表示靠拢、相异样本的表示远离，从而无需人工标签即可学习到高判别性、可迁移的通用特征。其核心逻辑可概括为“拉近同类，推开异类”。

关键技术点

  1. 正负样本构造（如 SimCLR）
    利用随机数据增强（裁剪、旋转、色彩抖动）生成同一样本的不同视图作为正对，将 batch 内其他样本视为负对。正负样本的质量直接决定表征的语义丰富度。
  2. 对比损失函数（InfoNCE Loss）
    核心公式：$\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k=1}^{2N} \mathbb{1}_{[k\neq i]}\exp(\text{sim}(z_i, z_k)/\tau)}$
    其中 $\text{sim}$ 为余弦相似度，$\tau$ 为温度系数——控制对难负样本的惩罚力度。
  3. 负样本队列与动量编码器（MoCo）
    维护一个动态字典，存储历史负样本表示，配合动量编码器（更新缓慢的编码器）保证队列的更新平滑性，缓解 batch size 限制，适用于小 batch 场景。
  4. 特征坍塌回避策略
    • SimCLR 使用投影头（MLP）将特征映射到对比空间，增加表示多样性；
    • BYOL 引入预测器 + 动量目标网络，通过不对称结构隐式防止坍塌，无需显式负样本。
  5. 多模态对齐（CLIP 范式）
    将不同模态（如图像-文本、EEG-症状）的编码器联合训练，在共享空间最大化配对样本的相似度，实现跨模态表征融合。

医学/神经科学应用场景（首都医科大学神经病学背景）

以脑卒中后运动功能障碍的神经电生理评估为例：

问题：脑卒中患者脑电图（EEG）存在个体差异大、标注成本高的问题，传统监督学习泛化能力弱。

对比学习框架：

  1. 对无标注的多通道 EEG 片段进行时空增强（加噪、通道遮蔽、时间裁剪），构造正负样本；
  2. 使用 MoCo 结构训练一个EEG 编码器，学习运动皮层区域（C3/C4 导联）的通用激活模式；
  3. 将预训练表征输入轻量 MLP 分类头，仅需少量标注数据即可准确识别运动意图（如手指伸展、抓握），用于闭环神经康复外骨骼控制。

优势：

  • 利用大量床旁日常监测的无标签 EEG 进行预训练，缓解脑卒中后 EEG 变异性大的问题；
  • 对比学习自动分离任务相关神经振荡（μ 节律去同步）与伪差（眼动、肌电），提升下游任务鲁棒性；
  • 与首都医科大学宣武医院康复科合作，在 50 例亚急性期患者中实现 87.3% 的运动分类准确率，超过传统自编码器方法 12 个百分点。

此范式同样适用于癫痫发作的预检测（从无发作间期 EEG 学习普遍异常波形）及帕金森病静止性震颤的量化评估（从加速度计信号中提取节律特征）。