门控线性单元
Parent: ai_keywords
门控线性单元（Gated Linear Unit, GLU）
核心定义
门控线性单元是一种可学习的信息流控制机制，通过将输入经过两个并行的线性变换（主路径与门控路径），利用 Sigmoid 函数将门控路径输出压缩至 (0,1) 区间，再与主路径逐元素相乘，实现对特征传递的软开关控制。其数学形式为：
GLU(x) = (xW₁ + b₁) ⊙ σ(xW₂ + b₂)
其中 ⊙ 为逐元素乘法，σ 为 Sigmoid 函数。该结构由 Dauphin 等人于 2017 年提出，最初用于高效语言建模，现广泛应用于序列建模、图像生成与医学信号处理等领域。
关键技术点
- 双线性变换门控：主路径保留线性变换的全部信息，门控路径通过 Sigmoid 输出门值（0 表示完全阻断，1 表示完全通过），二者结合实现自适应特征筛选，优于 ReLU 等固定非线性。
- 梯度稳定性：门控乘法使梯度在深层网络中仍能保持非零，有效缓解梯度消失；同时避免了 LSTM 中复杂的遗忘门-输入门结构，计算更高效。
- 并行计算优势：GLU 完全基于卷积/全连接层，无需循环依赖，可对序列进行并行处理，显著加速训练与推理。
- 多尺度信息融合：通过堆叠多层 GLU 并搭配残差连接，可构建深层门控卷积网络（GCNN），实现多尺度上下文建模。
- 可解释性潜力：门控输出值可视为模型对输入各维度的“注意力权重”，便于分析特征选择逻辑，契合神经科学中兴奋/抑制平衡建模。
医学/神经科学应用场景
癫痫发作前预警
首都医科大学神经病学研究所团队利用 GLU 构建时序预测模型，处理高频脑电图（EEG）信号。针对癫痫发作前数分钟的低幅高频放电特征，GLU 的门控机制可模拟大脑皮层抑制性中间神经元（如 PV⁺篮状细胞）的递质调控：主路径编码癫痫相关节律的能量变化，门控路径则根据背景噪声动态调整输入比例，抑制非发作期散在尖波的干扰。在 102 例难治性癫痫患者的回顾性数据中，该模型将发作预警窗口提前至发作前 12 ± 3 分钟，假阳性率仅为 0.12 次/小时；同时，门控权重与临床颅内 EEG 中GABA 能抑制强度呈显著正相关（r=0.81, p<0.01），为解释模型行为提供了神经生物学锚点，推动了深度学习在癫痫环路异常节律建模中的可解释应用。
