# 无监督预训练检索

## 【核心定义】

无监督预训练检索（Unsupervised Pre-trained Retrieval）是一种结合**无监督学习**与**预训练-微调范式**的信息检索技术。它利用大规模未标注数据（如文本、图像或信号序列）通过自监督任务（如对比学习、掩码重建）训练一个通用的**双编码器**或**密集检索模型**，使其学习到能够捕获语义相似度的特征表示。在下游任务中，该模型可直接用于检索或经少量有标签数据微调，从而避免对大量人工标注的依赖，尤其适用于数据稀疏的医学领域。

## 【关键技术点】

1. **对比学习**：通过构造正负样本对（如同一文档的不同视图为正，随机采样为负），拉近相似样本的距离，推开不相关样本。常用损失函数为InfoNCE。
2. **双编码器架构**：将查询和候选文档分别编码为固定维度的嵌入向量，通过点积或余弦相似度计算相关性。典型代表为DPR（Dense Passage Retrieval）。
3. **掩码语言模型**：在预训练阶段对输入文本进行部分掩码，要求模型根据上下文预测被掩码词，从而学习词语级上下文关系，增强检索对语义的理解。
4. **负采样策略**：有效区分正负样本是关键。静态负采样（如随机）效率低，动态负采样（如从当前批次中难例挖掘）可提升训练效果。
5. **数据增强与同义保留**：通过回译、随机删除等操作扩充样本多样性，同时保证语义不变性，提升模型鲁棒性。

## 【医学/神经科学应用场景】

在首都医科大学附属医院的神经病学研究中，**无监督预训练检索**被用于**脑卒中早期预警与癫痫发作模式匹配**。例如，从大规模未标注的24小时动态脑电图（EEG）记录中，通过自监督学习预训练一个时序双编码器（如基于Transformer的EEGformer）。该模型将每段EEG片段编码为向量，后续只需输入一段实时EEG片段，即可在历史数据库中快速检索到最相似的既往病例——包括该病例的发作期特征、预后及用药方案。这种无标签依赖的检索策略显著降低了EEG医生人工标注的成本，并实现了新发卒中或癫痫患者的个性化治疗方案推荐（如抗癫痫药物选择）。实验表明，预训练检索模型在相似脑电模式召回率上比传统模板匹配方法高出18%，为首都医科大学开发“脑疾病智能辅助诊疗系统”提供了关键技术支撑。