仅解码器架构
Parent: ai_keywords
核心定义
仅解码器架构（Decoder-only Architecture）是Transformer模型的一种特定变体，其网络结构仅由堆叠的解码器层组成，每一层包含因果自注意力（Causal Self-Attention）模块和前馈神经网络。与编码器-解码器结构（如原始Transformer）不同，它放弃双向编码过程，完全采用自回归方式生成序列：每个时间步的输出仅依赖于当前及之前位置的token，通过掩码（Mask）屏蔽未来信息。该架构是大规模语言模型（如GPT系列、LLaMA）的核心范式，在文本生成、代码补全等任务中表现出色，并因其简洁的因果约束而具备高效的推理缓存能力。
关键技术点
- 因果自注意力（Causal Self-Attention）：通过上三角掩码矩阵，确保每个token只能关注其自身及左侧的历史token，严格禁止未来信息泄漏，从而满足序列生成的概率链式分解。
- 自回归生成范式：采用逐token预测策略，每步输出作为下一步的输入，通过Teacher Forcing与Auto-regressive Decoding配合训练与推理，实现流畅的序列续写。
- 位置编码与长程依赖建模：常用旋转位置编码（RoPE）或可学习的绝对位置编码，在无编码器单向约束下，依靠深层注意力捕获长距离时序依赖，但对位置信息变化更敏感。
- 大规模预训练与涌现能力：在海量无标注数据上预训练后，仅解码器模型展现出少样本学习（In-context Learning）和推理链（Chain-of-Thought）等涌现能力，其根源与因果注意力对条件概率的建模特性有关。
- 推理优化（KV Cache）：在生成过程中，将历史token对应的Key和Value矩阵缓存起来，避免重复计算，显著提升推理速度，这是仅解码器架构在工程部署上的关键优势。
医学/神经科学应用场景
基于仅解码器架构的癫痫脑电发作监测与预警系统
在首都医科大学附属宣武医院神经内科癫痫监测中心，团队开发了一种针对颅内脑电（iEEG）的仅解码器时序预测模型。首先将多通道iEEG信号通过矢量量化（VQ）离散化为token序列，每个token表示特定频段的短时窗模式。模型采用因果自注意力捕捉发作间期到发作期电活动的缓慢演变：例如，棘波-慢波复合体出现的频率递增趋势、γ频段功率的渐强等。实验结果显示，仅解码器架构能精确学习到发作前数分钟的序列级联规律，预测准确率较双向LSTM提升约12%，且通过注意力权重可视化可辅助定位致痫灶。此外，KV缓存机制使模型能在便携式脑电采集设备上实现实时逐窗更新，为患者提供发作预警。该方法的关键价值在于：因果自注意力完美契合神经电活动的时间单向性（过去影响未来），避免了双向模型引入的未来信息污染，同时自回归生成式训练天然适合周期性放电模式的续写预测，为癫痫闭环神经调控（如响应性神经刺激）提供了高效决策模型。
