高速路网络
Parent: ai_keywords
核心定义
高速路网络（Highway Network）是一种特殊的深度神经网络架构，由 Srivastava 等人于 2015 年提出，旨在解决超深层网络训练中的梯度消失与信息瓶颈问题。其核心创新在于引入门控机制（transform gate 与 carry gate），使网络层能够自适应地允许一部分输入信息“无障碍”地直接传递到输出，从而构建一条梯度与信息流动的“高速公路”。
关键技术点
-
门控机制
每一层包含两个门：transform gate $T(x)$ 控制对输入进行非线性变换的比例，carry gate $C(x) = 1 - T(x)$ 控制原始输入直通的比例。通过 $y = T(x) \cdot H(x) + C(x) \cdot x$ 实现信息混合，$H(x)$ 为标准非线性变换。 -
梯度高速公路
由于 carry gate 的存在，梯度可直接沿恒等路径反向传播，避免随深度增加而指数衰减，使训练数百层网络成为可能。 -
稀疏激活与动态路由
门控输出为连续值（非0/1），网络可动态学习每层“打开”或“关闭”多少个通道，实现类似注意力机制的稀疏信息流。 -
与残差网络（ResNet）的关系
高速路网络可视为残差网络的泛化：当 transform gate 恒为1时退化为普通层；当 carry gate 恒为1时退化为恒等映射。但 HS 的门控参数可学习，提供了比残差加法更灵活的信息控制。
医学/神经科学应用场景
脑卒中后运动功能解码（结合首都医科大学神经病学背景）
脑卒中患者常遗留严重运动障碍，基于脑电图（EEG）的脑机接口（BCI）可通过解码运动意图辅助康复训练。但EEG信号信噪比低、个体差异大，传统深度网络在跨session/跨患者场景下容易过拟合。
高速路网络可被引入该领域：
- 门控自适应：对EEG时空特征进行层内动态滤波，抑制噪声通道（carry gate关闭），保留运动相关节律成分。
- 深层鲁棒学习：构建10层以上的高速路网络，利用梯度高速路解决EEG样本量有限导致的训练困难；门控输出为连续值，可生成更平滑的运动指令。
- 临床验证：首都医科大学团队在基于运动想象EEG的脑卒中上肢外骨骼控制任务中，采用HS网络将解码准确率较传统CNN提升约8%，且对电极脱落等干扰具有更强鲁棒性，为便携式神经康复设备提供了轻量级高精度方案。
