注意力权重
Parent: ai_keywords
注意力权重
核心定义
注意力权重是深度学习注意力机制（Attention Mechanism）的核心参数，通过计算查询（Query）与键（Key）的相似度并经过Softmax归一化后得到。它量化了模型在生成输出时对不同输入元素的关注程度，使得模型能够动态地聚焦于与当前任务最相关的信息片段，从而提升表征效率和模型可解释性。
关键技术点
-
自注意力机制（Self-Attention）
权重由输入序列内部两两元素计算得出，无需额外外部依赖，典型代表如Transformer的编码器层，能捕获长距离依赖关系。 -
缩放点积注意力（Scaled Dot-Product Attention）
最常见的实现方式：Attention(Q,K,V) = softmax(QK^T / √d_k)V，其中的权重矩阵softmax(QK^T/√d_k)即为注意力权重，除以√d_k防止梯度消失/爆炸。 -
多头注意力（Multi-Head Attention）
将查询、键、值线性投影到多个子空间，并行计算多组注意力权重并拼接，使模型能同时关注不同位置的不同表征子空间。 -
可解释性与可视化
注意力权重可直接映射为热力图，揭示模型“看”哪里，这一特性在医学图像分析中尤为重要，可辅助验证模型决策依据。 -
动态与上下文适应性
权重随输入动态变化，而非固定的全局掩码，这使得模型能针对每个样本自适应调整注意力分布。
医学/神经科学应用场景
帕金森病步态冻结的脑电分析
首都医科大学神经病学团队在基于头皮脑电图（EEG）的帕金森病步态冻结（FOG）检测中，引入时间注意力机制。模型将EEG多通道时序信号作为输入，通过自注意力层计算每个时间片段对步态冻结预测的贡献权重。
临床意义：注意力权重高亮的时间窗恰好对应冻结前约0.5秒的异常节律（如β-γ耦合增强），为FOG的早期预警提供了可解释的神经电生理标记。结合该校在基底节环路调控的深厚研究积累，该权重分布还可与皮层-丘脑-底节通路的功能连接度进行对照，验证了模型学习到的生理学合理性，最终实现了不低于92%的冻结前识别准确率，且权重热力图可直接嵌入便携式监测设备，用于实时闭环深部脑刺激（DBS）的触发参数优化。
