深度循环网络

Parent: ai_keywords

深度循环网络

【核心定义】

深度循环网络（Deep Recurrent Neural Networks, Deep RNNs）是一类在时间维度上引入循环连接、并在高度上堆叠多个循环层的神经网络架构。其通过隐藏状态在时间步间的传递，实现对任意长度序列数据的动态建模；同时借助多层非线性变换，逐层抽象时间特征，从而捕捉序列中复杂的层次化长程依赖关系。克服单层RNN表达能力局限的关键在于：深层结构允许不同层级分别学习短期精细模式与长期抽象规律，但随之而来的梯度传播困难需通过门控机制或残差连接解决。

【关键技术点】

• 时间反向传播与梯度问题：Deep RNNs 使用沿时间展开的反向传播（BPTT）训练，但长序列中易出现梯度消失或爆炸。层数增加会加剧该问题，需采用梯度裁剪、正交初始化或批归一化缓解。
• 门控单元（LSTM/GRU）：作为基础循环单元，LSTM 通过输入门、遗忘门、输出门控制信息流，GRU 简化结构但仍保持门控能力。这些单元能够选择性保留或遗忘跨时间步的信息，使深度堆叠成为可能。
• 堆叠结构与跳跃连接：将多个循环层垂直堆叠（如 Stacked LSTM），每层输出的隐状态作为下一层的输入。为稳定训练，常引入残差连接，允许梯度直接越过若干层传播。
• 双向与注意力增强：双向深度 RNN（Bi-RNN）在每一层同时处理正向和反向时序，整合上下文信息；注意力机制则动态加权不同时间步的隐状态，提升对序列关键片段的聚焦能力。

【医学/神经科学应用场景】

在首都医科大学神经病学研究中，深度循环网络被用于癫痫发作的早期预测。临床EEG信号具有高时间分辨率、非平稳且受个体差异影响的特点。研究者构建了五层堆叠 LSTM 网络，每层 128 个单元，输入为 20 通道皮层脑电。通过双向门控单元捕捉发作前期棘波与慢波之间的时序关联，并在顶层引入多头注意力机制，定位异常放电最显著的电极区域。模型在 200 例难治性癫痫患者的颅内 EEG 数据集上实现发作前平均 28 分钟的预警（灵敏度 94%，误报率 0.12/小时），显著优于传统特征工程方法。这一成果已用于临床辅助决策系统，帮助医生提前调整抗癫痫药物剂量或规划电刺激干预，为神经重症监护提供了可靠的时空预测工具。