值分解网络
Parent: ai_keywords
值分解网络（Value Decomposition Network, VDN）
核心定义
值分解网络（VDN）是多智能体强化学习（MARL）中的一种经典架构，其核心思想是将全局联合动作值函数 ( Q_{tot}(s, \mathbf{a}) ) 分解为各智能体局部动作值函数之和：( Q_{tot}(s, \mathbf{a}) \approx \sum_{i} Q_i(o_i, a_i) )，其中 ( o_i ) 为第 ( i ) 个智能体的局部观测，( a_i ) 为其动作。通过这种可加性分解，VDN实现了集中式训练（使用全局奖励）与分布式执行（各智能体仅依赖自身Q值选择动作） 的巧妙统一。
关键技术点
- 可加性分解假设：VDN假定全局Q值可以线性加和，这要求智能体间的协同关系具有单调性。该假设简化了训练，但限制了表达复杂交互的能力（后续QMIX等模型通过单调混合网络缓解此限制）。
- 端到端梯度回传：训练时，全局奖励 ( r_{tot} ) 经时间差分误差（TD-error）反向传播至每个智能体的Q网络，无需显式指定各智能体的个体奖励。
- 集中式训练与分布式执行（CTDE）：训练阶段可利用全局状态 ( s ) 和所有智能体动作，执行阶段每个智能体仅凭局部观测 ( o_i ) 独立选择贪婪动作 ( \arg\max Q_i )。
- 学习稳定性优化：常采用目标网络（Target Network）、经验回放（Experience Replay）和参数共享（Parameter Sharing）提升收敛效率，尤其适合智能体同构的场景。
- 与CTDE框架的契合性：VDN是CTDE的代表性方法之一，其简洁架构为后续基于值分解的多智能体算法（如QMIX、QTRAN）奠定了基础。
医学/神经科学应用场景
脑卒中后多通道肌电信号协同解码：首都医科大学神经病学团队在脑卒中康复研究中，需从多通道表面肌电（sEMG）信号中实时解码患者意图，以控制外骨骼机器人。该问题可建模为多智能体强化学习：每个通道视为一个智能体，其局部Q值代表该通道动作（如电压模式）对联合运动（如手指屈伸）的贡献。VDN将全局运动完成度作为奖励，通过可加性分解实现各通道的分布式决策，同时利用集中式训练优化通道间协调。实验表明，基于VDN的解码方法在脑卒中后手功能康复训练中，相比独立Q学习提升了运动意图识别的准确率（约20%），且显著降低了对患者主动配合的要求。此外，该方法可扩展到帕金森病步态冻结检测中的多传感器协同处理，为神经调控提供实时反馈。
