广义优势估计 (GAE)
Parent: ai_keywords
广义优势估计 (GAE)
【核心定义】
广义优势估计（Generalized Advantage Estimation, GAE）是一种在策略梯度强化学习中用于高效估计优势函数的算法。它通过引入可调节参数 λ（0≤λ≤1），对多步时间差分（TD）误差进行指数加权平均，在方差与偏差之间实现灵活折中，从而在不显著增加计算复杂度的前提下降低梯度更新的噪声，提升策略优化的稳定性与收敛速度。
【关键技术点】
- 多步优势整合：GAE 将单步 TD 残差 δ_t 与从 1 步到无穷步的优势估计进行加权组合，权重按 λ^(k-1) 衰减，形成截断但平滑的优势估计。
- 超参数 λ 的调控：λ 越接近 0，估计偏向短视（低方差、高偏差）；λ 越接近 1，估计逼近蒙特卡洛回报（低偏差、高方差）。实际中常取 0.9~0.99 以平衡两者。
- 兼容策略梯度方法：GAE 是现代策略梯度算法（如 PPO、A2C、TRPO）的标准组件，可直接用于计算优势函数并代入损失函数进行梯度更新。
- 与价值函数联合训练：GAE 需要同时维护一个价值网络（Critic）预测状态值 V(s)，其输出与真实回报的差值即为 TD 误差 δ_t。
【医学/神经科学应用场景】
脑卒中后上肢康复外骨骼策略优化
在首都医科大学神经病学团队的研究中，GAE 被用于强化学习驱动的外骨骼康复训练系统。系统将患者上肢运动状态（关节角度、肌电信号）作为环境状态 s，外骨骼的输出力矩作为动作 a，目标函数设计为最大化主动参与度与运动协调性。
由于脑卒中患者运动能力存在剧烈波动（痉挛、疲劳），传统单步奖励估计不稳定。采用 GAE（λ=0.95）计算每个时间步的优势，使策略梯度能够综合过去数秒的康复互动信息，避免因瞬时痉挛产生的异常奖励误导参数更新。实验表明，GAE 引导的策略使患者动作完成度提升 23%，且在 4 周训练期内更平稳地逼近最优辅助力矩曲线，验证了 GAE 在非平稳、高噪声康复环境中的鲁棒性。
