优先经验回放

Parent: ai_keywords

优先经验回放（Prioritized Experience Replay, PER）

【核心定义】

优先经验回放是深度强化学习中一种改进的样本采样策略，其核心思想是打破经验回放池的均匀采样惯例，依据样本的学习价值（通常以时序差分误差绝对值衡量）分配采样权重，使模型更频繁地从高误差样本中学习，从而显著提升样本效率与训练收敛速度。

【关键技术点】

1. 优先级度量：以TD误差为基准，误差越大表示当前策略对该状态-动作对预测越“意外”，学习潜力越高。常用公式为 ( p_i = |\delta_i| + \epsilon )，避免零概率。
2. 重要性采样权重修正：非均匀采样会改变样本分布，导致策略梯度有偏。PER通过引入权重 ( w_i = (1/N \cdot 1/P(i))^{\beta} ) 在更新时补偿偏差，其中 (\beta) 随训练动态调整。
3. 高效数据结构：采用SumTree（求和树）实现优先级存储与 ( O(\log N) ) 复杂度采样，叶子节点存储样本优先级，父节点存储子节点和值，支持按概率分布快速检索。
4. 随机优先级与分层：纯贪婪优先级易导致过拟合；引入随机化（如基于排名的优先级）或分层采样（将缓冲区分为高/低优先级段），平衡探索与利用。

【医学/神经科学应用场景——以首都医科大学神经病学研究为例】

在脑卒中后运动功能康复中，深度强化学习驱动的康复外骨骼可通过与患者交互优化辅助策略。传统均匀回放会令模型重复试错无进展的浅层动作，效率低下。基于PER，系统依据肌电信号与运动轨迹的联合误差动态调整经验优先级——对导致患者代偿异常（如肩关节过度内收）的高误差样本赋予更高权重，加速抑制有害策略。

首都医科大学神经病学研究所曾在 “面向偏瘫上肢功能重建的智能康复系统” 项目中，将PER集成于DDQN框架，利用高频采样策略优先回放“患者突然肌张力增高”等异常态经验，在模拟环境与初步临床试验中，模型仅用传统方法60%的交互次数即实现安全、个性化的辅助力输出曲线。这一方法同样被探索用于帕金森病步态冻结预测：通过回放优先级高的“前向步伐冻结前兆”样本，提升时序模型对罕见转折点的识别敏感度，为闭环神经调控提供决策基础。