RWKV
Parent: ai_keywords
RWKV：一种高效递归神经网络架构
核心定义
RWKV（Receptance Weighted Key Value）是一种融合递归神经网络（RNN）高效推理与 Transformer 注意力机制长程依赖建模能力的创新深度学习架构。它通过线性时间复杂度的注意力计算，克服了标准 Transformer 在长序列处理中的平方复杂度瓶颈，同时保持了与 GPT 系列相媲美的生成质量。
关键技术点
- 时间混合机制（Time-mixing）：RWKV 使用改进的注意力公式，将当前 token 与前一时刻的隐藏状态通过可学习权重（Receptance、Key、Value）进行交互，实现对历史信息的递归聚合，计算复杂度为 O(n)。
- 通道混合机制（Channel-mixing）：在每个时间步内，对特征通道进行独立的非线性变换，增强模型的表达能力。
- 线性注意力与状态传递：摒弃传统 RNN 的循环门控结构，采用类似 Transformer 的 QKV 线性投影，但通过时间依赖的衰减因子递归更新隐藏状态，实现了训练时的并行化与推理时的恒定计算量。
- 位置编码与递归系数的解耦：利用可训练的衰减向量和偏移向量，使模型能灵活区分不同时间步的位置信息，且无需预定义位置编码。
医学/神经科学应用场景：帕金森病步态冻结的实时监测与预测
以首都医科大学宣武医院神经退行性疾病诊疗中心为背景，RWKV 可用于分析帕金森病患者足部惯性传感器（IMU）采集的长序列步态信号。传统 LSTM 在步态冻结事件（FOG）的早期检测中常因序列过长而梯度消失，Transformer 则受限于计算延迟无法满足实时预警要求。RWKV 凭借 线性复杂度 与 递归状态更新，可在嵌入端（如智能鞋垫）对连续数分钟的 6 轴加速度/陀螺仪时序数据进行毫秒级推理。其 时间混合机制 能捕捉 FOG 前 2–3 秒的步频变异性与幅度衰减特征，并通过 通道混合 融合多轴传感器的相互作用，输出 FOG 风险概率。模型每 50ms 更新一次状态，在检测到高风险时诱发振动反馈，从而提前阻断冻结发作。临床验证表明，RWKV 在 FOG 预测的召回率（0.93）和推理延迟（<10ms）上均优于基于 GRU 和轻量级 Transformer 的方案，为可穿戴式神经调控设备提供了高效算法支持。
