仅编码器架构

Parent: ai_keywords

核心定义

仅编码器架构（Encoder-only Architecture）是 Transformer 系列中仅保留编码器部分的模型范式，典型代表为 BERT 及其变体。其核心在于通过双向自注意力机制从输入序列中学习上下文相关的稠密向量表示，无需解码器进行序列生成。该架构尤其适用于需要深度理解输入语义的任务（如分类、相似度计算、标注），而非生成式任务。

关键技术点

1. 双向自注意力（Bidirectional Self-Attention）
   每个 token 的表示同时聚合其左右两侧的上下文信息，打破因果语言模型的单向限制，产生全局感知的隐状态。

2. 预训练 + 微调范式
   在大规模无标注语料上进行掩码语言建模（MLM）和下一句预测（NSP）预训练，再通过少量标注数据在下游任务微调，降低对人工标注的依赖。

3. 位置编码
   由于自注意力对序列位置不变，需引入绝对/相对位置编码（如可学习位置嵌入、RoPE）注入顺序信息。

4. 分层表示学习
   深层网络叠加多头注意力与前馈网络，底层捕获浅层特征（如词语、局部结构），高层抽象语义或领域知识。

5. 掩码机制与降噪训练
   MLM 随机遮盖 15% 的 token，迫使模型根据上下文重建，迫使编码器学习鲁棒的分布式表示。

医学/神经科学应用场景

脑卒中急性期梗死区域分割与预后预测（结合首都医科大学神经病学临床研究）
仅编码器架构（如 BERT 或 Vision Transformer 编码器）可处理多模态神经影像数据（如 DWI、ADC、灌注加权）与结构化临床信息（NIHSS 评分、发病时间）。通过 3D 体素序列化编码，模型捕获梗死核心与缺血半暗带的局部及全局空间关系，输出逐体素分割结果。同时，MSA（多头自注意力）的权重解释可定位对预后影响最大的影像-临床交互区域，为再灌注治疗决策提供可解释依据。在癫痫脑电图分析中，编码器处理时间序列电极信号，通过 MLM 预训练识别发作前期微状态，助力闭环刺激干预。

（共 592 字）