注意力机制变体
Parent: ai_keywords
注意力机制变体：定义、技术与神经科学应用
核心定义
注意力机制变体是指对基础注意力模型（如Transformer中的缩放点积注意力）进行结构性或计算性改良的一系列方法。其核心目的是在保持或提升模型对关键信息聚焦能力的同时，解决标准注意力在高维数据中的计算冗余、局部偏好缺失、长程依赖捕获效率低等问题。变体通常通过修改注意力计算图、引入稀疏约束、融合多模态先验或结合领域知识实现。
关键技术点
-
多头注意力（Multi-Head Attention）
将输入分割为多个子空间并行计算注意力，再拼接映射。通过不同头关注不同位置子空间，增强模型对多种关系模式的表达能力，是Transformer的基础变体。 -
稀疏/窗口注意力（Sparse/Windowing Attention）
限制每个query仅与局部邻域或随机选取的key进行交互，降低计算复杂度至线性或近似线性。代表如SWIN Transformer的移位窗口机制，适用于高分辨率时序/图像数据。 -
线性注意力（Linear Attention）
利用核技巧（如ReLU线性化）将注意力计算中的softmax替换为点积，使复杂度从O(n²)降至O(n)。适用于长序列（如连续脑电信号），但可能牺牲细粒度拟合能力。 -
交叉注意力（Cross-Attention）
query来自一个模态，key/value来自另一模态，实现异质信息对齐。常用于多模态融合（如EEG+MRI）或条件生成。 -
时间注意力（Temporal Attention）
专门针对时序动态设计，可结合可变形卷积或可学习的时间位置编码，捕获非平稳信号的相位变化。在神经电生理分析中用于提取事件相关电位。
医学/神经科学应用场景：癫痫发作期的脑电图时空特征提取
背景： 首都医科大学神经病学团队在癫痫术前评估中，需从长程头皮脑电图（EEG）中快速定位发作灶。传统方法依赖人工标记或全局注意力，受限于计算量和伪影干扰。
方案： 采用窗口稀疏注意力与时间注意力的混合变体。将EEG导联重构为空间网格，每个时间窗口（如2秒）内，每个电极仅与其物理邻域（半径≤3cm）的电极进行自注意力计算，同时为发作期高频振荡（HFO）区域分配更高位置权重。模型在CHB-MIT公共数据集上以不足标准Transformer 1/3的计算量取得了0.93的发作检测F1分数。
优势： ①局部窗口机制抑制了远距伪影的干扰；②时间注意力使模型自动聚焦发作期节律变化（如棘波/尖波）；③线性化后的计算效率适应实时监测需求。该变体已由首都医科大学宣武医院神经电生理中心验证，可用于癫痫灶定位辅助决策，减少侵入性电极植入的必要性。
