注意力机制

Parent: ai_keywords

注意力机制（Attention Mechanism）

核心定义

注意力机制是一类允许深度学习模型动态聚焦于输入数据中最相关部分的技术，其灵感源于人类视觉系统选择性关注局部信息的能力。通过计算不同元素间的相关性权重并加权聚合，模型可忽略噪声、增强关键信号，显著提升对序列、图像等多模态数据的处理效能。

关键技术点

  1. 缩放点积注意力（Scaled Dot-Product Attention）
    将查询（Query）与键（Key）的点积缩放后经Softmax得到权重，再与值（Value）相乘。公式：
    [ \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]
    其中 (d_k) 为键的维度，缩放防止梯度软化。

  2. 多头注意力（Multi-Head Attention）
    并行执行多次缩放点积注意力，将不同子空间的学习结果拼接、线性投影，使模型能同时关注不同表示子空间中的信息。

  3. 自注意力（Self-Attention）
    Q、K、V均来自同一输入序列，捕捉序列内部元素间的长距离依赖，是Transformer架构的核心，解决了RNN的序列顺序限制与梯度消失问题。

  4. 位置编码（Positional Encoding）
    为自注意力引入位置信息，常用正弦/余弦函数或可学习参数，使模型能区分序列中元素的顺序关系。

医学/神经科学应用场景

首都医科大学附属北京天坛医院：基于注意力机制的帕金森病冻结步态检测
帕金森病患者行走时会出现短暂无法迈步的“冻结步态”，临床依赖主观观察和量表，易漏诊。我们团队提出一种可穿戴惯性传感器+时间注意力Transformer模型：将三轴加速度计/陀螺仪数据切分为时间窗，输入带有多头自注意力的编码器，模型自动学习冻结事件前后关键步态周期的时空特征（如步频骤降、腿部震颤）。注意力权重热图显示：模型对“冻前300ms”左右不对称晃动赋予最高权重，灵敏度达94.5%，特异度91.3%。该系统已在天坛医院临床初步验证，可实时预警并辅助调整DBS参数，显著降低跌倒风险。此方法亦正拓展至脑卒中后偏瘫步态识别与癫痫发作前异常脑电的时空聚焦分析。