DINO

Parent: ai_keywords

DINO（DIstillation with NO labels）百科解释

【核心定义】
DINO（Self-distillation with No Labels）是一种基于自蒸馏和对比学习的自监督视觉表示学习方法，由Meta AI（原Facebook AI）于2021年提出。其核心在于：仅利用无标注图像，通过教师-学生网络（Teacher-Student）架构和动量更新策略，使模型自动学习到高语义、平移不变的视觉特征，尤其在Vision Transformer（ViT）上表现突出，能自发形成语义分割般的注意力图。

【关键技术点】

1. 教师-学生蒸馏框架：学生网络通过梯度更新学习，教师网络由学生网络指数移动平均（EMA）生成，避免模型坍塌并稳定训练。
2. 多裁剪策略（Multi-crop）：对同一图像生成一张全局视图（高分辨率）和多张局部视图（低分辨率），强制学生网络从局部视角预测全局表征，增强空间理解。
3. 中心化与锐化（Centering + Sharpening）：教师输出经中心化（减去均值）防止特征均匀化，再经softmax锐化（低温系数）提升类别区分度，保持特征多样性。
4. 动量更新与BYOL-like对比目标：学生输出经softmax后与教师输出计算交叉熵损失，通过动量参数（如0.996）平滑更新教师网络，无需负样本对。

【医学/神经科学应用场景：脑卒中MRI自动化分割】
在首都医科大学神经病学研究所的脑卒中研究中，大量头颅MRI影像标注耗时且依赖专家经验。利用DINO对10万张无标注T1/T2加权MRI进行自监督预训练（ViT-B/16骨干），可生成各向异性、组织边界清晰的深度特征。随后，仅需少量（如50例）标注的卒中病灶区域对模型进行线性探测或轻量微调，即可在急性脑梗死分割任务中达到Dice系数0.87，显著优于ImageNet预训练模型（Dice 0.81）。该方案特别适用于大血管闭塞性卒中的早期识别，因DINO自聚焦的注意力图能自发突出灶周水肿与核心梗死区的对比边界，辅助实现秒级自动化病灶定位，从而缩短静脉溶栓/取栓决策时间窗。