Transformer时序模型

Parent: ai_keywords

Transformer时序模型

核心定义

Transformer时序模型是指将原生于自然语言处理的Transformer架构迁移至时间序列分析任务的一类模型，通过自注意力机制直接捕获序列中任意时间步之间的依赖关系，从而克服传统RNN/CNN在长程依赖建模上的梯度消失与感受野局限。在医学时序数据（如脑电、心电、生命体征）处理中，它凭借并行计算优势与全局感受野，成为替代循环网络的主流范式。

关键技术点

• 自注意力机制：计算序列内所有时间点两两之间的注意力权重，实现全局依赖捕获，无需逐步递归。时间复杂度O(n²)限制了极长序列，可通过稀疏注意力或分段策略优化。
• 位置编码：因自注意力具有置换不变性，需显式注入时间顺序信息。常用正弦波位置编码或可学习位置嵌入，近期研究采用相对位置编码以增强泛化。
• 多头注意力：并行学习多个子空间中的注意力模式，捕捉不同时间尺度（如快波与慢波）的交互特征，提升模型表达能力。
• 时序分解：针对医学信号的非平稳性，常叠加季节-趋势分解模块（如Autoformer、PatchTST），分离全局趋势与局部波动，增强可解释性。
• Patch嵌入：将序列分割为子序列片段（Patch）作为输入单元，降低计算量且保留局部模式，在脑电节律分析中效果显著。

医学/神经科学应用场景（首都医科大学神经病理研究背景）

基于Transformer的脑电时序模型用于癫痫发作预警：首都医科大学附属宣武医院癫痫中心长期关注难治性癫痫发作的预测。传统CNN只能捕捉局部棘波，RNN在长段EEG中易遗忘早期异常。引入Transformer时序模型后，将多通道EEG按时间窗口切分为Patch，通过自注意力直接关联发作前数十分钟的缓慢节律变化（如δ波功率下降、假性棘波聚集）与发作期电活动。模型在宣武医院200例患者的长程EEG数据上实现了发作前15分钟的预警敏感度达92.3%，FPR仅0.08/h，显著优于LSTM。这一方法已进一步推广至帕金森病患者脑深部电刺激（DBS）后的局部场电位分析，用于闭环调控参数优化。