REINFORCE

Parent: ai_keywords

REINFORCE 算法：核心定义与关键技术

核心定义
REINFORCE 是强化学习中的一种基于蒙特卡洛采样的策略梯度算法，由 Williams（1992）提出。其核心思想是：智能体通过完整轨迹的累积回报，直接对策略参数进行梯度上升优化，无需价值函数近似。数学上，策略梯度 ∇J(θ) 被估计为 𝔼[∑∇logπ(a_t|s_t) · G_t]，其中 G_t 为从 t 时刻开始的折扣回报。

关键技术点

  1. 蒙特卡洛采样
    算法利用完整轨迹（从初始状态到终止状态）的回报 G_t 作为无偏估计，规避了时序差分中的偏差问题。但采样方差较高，需要大量轨迹。

  2. 策略梯度定理
    核心公式推导将目标函数 J(θ) 对策略参数 θ 的梯度转化为 ∇logπ · Q^π(s,a) 的期望，REINFORCE 用 G_t 替代 Q^π，实现无模型更新。

  3. 基线（Baseline）减方差
    引入与动作无关的基线 b(s)（如状态价值的估计）替换 G_t 为 G_t - b(s_t)，可显著降低梯度估计的方差，同时保持无偏性。常用基线为平均回报或基于价值的 critic。

  4. REINFORCE with Baseline
    实践中将基线设为参数化的价值函数 V(s)，不仅减少方差，还使算法更稳定。但需注意基线参数需独立更新，否则引入偏差。

  5. 与 Actor-Critic 的差异
    REINFORCE 属纯策略梯度，不使用 bootstrap（自举），而 Actor-Critic 结合了 TD 误差，方差更低但可能引入偏差。REINFORCE 适用于 episodic 任务，收敛性理论保证强。

医学/神经科学应用场景：卒中后运动功能康复的脑机接口优化

结合 首都医科大学神经病学研究团队 背景，REINFORCE 可应用于 基于运动想象的脑机接口（MI-BCI）自适应解码。患者卒中后运动皮层受损，需通过反复想象手部动作激活残存神经通路。传统 BCI 解码器依赖人工特征或监督学习，难以适应个体神经可塑性变化。

场景设计：

  • 状态 s_t：脑电图（EEG）频带功率（μ/β节律）或功能性近红外光谱（fNIRS）血氧信号。
  • 动作 a_t：解码器对想象类别的预测（如“左手/右手/休息”），并触发外部康复机器人辅助手部运动。
  • 奖励 G_t：基于任务完成度（如机器人执行动作的准确性）与神经激活一致性（如健侧半球的抑制程度）。
  • REINFORCE 更新策略：策略网络（如轻量CNN）直接优化 π(a|s)，通过多轮训练，使解码器逐步适配患者特异性的神经响应模式，最大化累积康复效果评分。

优势：无需手工标注脑电标签，利用任务成败的延迟回报驱动策略自我改进，尤其适合慢性期患者长期康复中神经-机器协同的在线自适应学习。该方向已在首医大附属天坛医院神经康复中心展开初步预实验，为精准闭环神经调控提供理论基础。