策略函数
Parent: ai_keywords
策略函数（Policy Function）
核心定义
策略函数是强化学习（Reinforcement Learning）中智能体决策的数学映射，记为 (\pi(a|s)) 或 (\pi(s,a))，表示在给定环境状态 (s) 下选择动作 (a) 的概率分布（随机策略）或确定性动作映射（确定性策略）。其核心目标是最大化长期累积奖励，是智能体与环境交互的“行为准则”。
关键技术点
-
确定性 vs. 随机性策略
确定性策略直接输出动作 (a = \mu(s))，适用于高精度控制任务（如机器人轨迹追踪）；随机策略输出动作概率分布，通过采样引入探索，适用于非平稳环境或博弈场景。 -
策略梯度方法
直接对策略参数 (\theta) 进行梯度上升，优化目标 (J(\theta) = \mathbb{E}{s \sim \rho^\pi, a \sim \pi\theta}[R])。经典算法包括REINFORCE（蒙特卡洛采样）、PPO（近端策略优化，通过裁剪更新幅度提升稳定性）。 -
Actor-Critic架构
将策略函数（Actor）与值函数（Critic）结合：Actor负责更新策略，Critic评估当前动作的优劣（如TD误差），形成方差更低、收敛更快的混合框架（如A3C、SAC）。 -
深度策略网络
利用深度神经网络（如CNN、RNN）近似策略函数，处理高维状态空间（如视频图像、时序脑电信号）。DQN虽为值函数方法，其变种（如Dueling DQN）亦通过隐式策略改进实现决策。 -
探索-利用平衡
策略函数通过熵正则化（如SAC中的最大熵目标）或置信区间（如UCB）显式控制探索程度，避免陷入局部最优。
医学/神经科学应用场景：脑卒中后运动功能康复的自适应电刺激
基于首都医科大学神经病学研究所的合作研究，策略函数可应用于功能性电刺激（FES）闭环控制系统。系统通过高密度肌电（HD-sEMG）或脑电图（EEG）实时提取患者患侧肢体运动意图（状态 (s)，如肌电激活模式、运动皮层的μ节律去同步），策略函数 (\pi(a|s)) 学习输出最优化电刺激参数（动作 (a)，包括刺激通道、强度、时序）。
- 关键技术融合：采用Actor-Critic架构——Actor网络（策略函数）根据异常肌电模式调整刺激时序，避免代偿性肌肉痉挛；Critic网络（值函数）依据运动学轨迹（如手腕伸展角度）和皮质可塑性生物标志物（如运动诱发电位MEP的振幅）提供奖励信号，引导策略向促进正确运动模式收敛。
- 临床意义：相比固定参数电刺激，策略函数动态适配个体康复阶段，加速皮质-肌肉环路重塑，减少肩手综合征等并发症。该框架已在脑卒中后6个月内的亚急性期患者中开展小样本验证，显著提升Fugl-Meyer上肢评分（(p<0.05)）。
