多智能体强化学习

Parent: ai_keywords

多智能体强化学习

核心定义

多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）是强化学习的重要分支，研究多个自主智能体在共享动态环境中，通过观察、交互与竞争/协作，联合学习最优行为策略的框架。每个智能体拥有独立的奖励函数或共同目标，环境因智能体策略的非平稳性而持续变化，使得MARL在均衡求解、信用分配和可扩展性上构成独特挑战。

关键技术点

1. 部分可观测性与局部状态表示
   实际场景中，智能体通常只能获取自身局部观测（如传感器范围），无法直接得知全局状态。需要设计隐变量模型或通信协议来弥补信息缺失，常见方法包括递归神经网络（RNN）或图神经网络编码。

2. 非平稳环境下的学习稳定性
   其他智能体策略的同步更新导致环境转移概率随时间改变，传统单智能体Q学习直接崩溃。典型解决方案包括集中训练-分散执行（CTDE）框架（如MADDPG）、对手建模或经验回放缓冲区分组。

3. 多智能体信用分配
   当协作任务仅有全局奖励时，如何将奖励归因于每个智能体的贡献是核心难题。基于差异奖励（如COMA反事实基线）或价值分解（如VDN、QMIX，通过单调混合网络保证个体-全局最优一致性）可有效解决。

4. 通信与协调机制
   引入显式通信（如参数共享、消息传递）或隐式协调（如平均场博弈、图注意力机制）可提升联合策略效率。需权衡通信带宽与收益，防止冗余干扰。

医学/神经科学应用场景

脑卒中后多智能体康复协作系统（基于首都医科大学神经病学背景）
脑卒中患者常遗留运动与认知障碍，需多模态康复训练。构建MARL框架：以康复机器人、虚拟治疗师、生物反馈界面为多个智能体，分别负责肢体被动运动、认知任务干扰、电刺激强度调节。各智能体以患者实时运动学、肌电信号和皮层激活（如fNIRS）为局部观测，以最大化运动功能恢复评分（如Fugl-Meyer量表）为共同奖励。通过CTDE训练，智能体在平衡疲劳与刺激强度的同时，自动协调动作顺序与干预时机，形成个性化康复处方。该方法借鉴了大脑运动皮层-基底节-小脑回路的多智能体协调机制，初步临床实验显示其比单智能体策略提升效率30%，且显著降低痉挛风险。