离线强化学习
Parent: ai_keywords
离线强化学习（Offline Reinforcement Learning）
【核心定义】
离线强化学习（Offline RL）是一种无需与环境实时交互、仅从预先收集的静态数据集（如历史轨迹、专家演示）中学习最优策略的机器学习范式。与传统在线RL依赖试错探索不同，离线RL直接利用固定数据优化决策，其核心挑战在于处理数据分布偏移——当策略选择数据中未覆盖的动作时，价值函数易产生灾难性高估。该技术在学习安全、可复用的策略方面具有独特优势，尤其适用于交互成本高或风险敏感的场景。
【关键技术点】
-
策略约束（Policy Constraints）
通过KL散度、最大均值差异（MMD）等正则化手段，迫使学习策略与数据中行为策略的分布保持接近，以抑制对不可见动作的过度外推。典型方法如BCQ、TD3-BC。 -
保守值估计（CQL）
在Q函数训练中显式添加惩罚项，降低对低密度动作的估计值，从而避免策略偏好未探索动作。CQL通过修改贝尔曼误差实现保守性，是当前最稳定的基线之一。 -
模型辅助离线RL（Model-based Offline RL）
利用数据训练环境模型，通过模型生成虚拟轨迹并引入不确定性惩罚（如MOPO算法），防止模型在不可靠区域产生幻觉。适用于高维连续控制任务。 -
分布校正与重要性采样
通过双重稳健估计、加权重要采样修正策略评估偏差，或将目标策略分布对齐到数据分布（如BEAR），提升泛化性的同时维持价值估计可靠性。
【医学/神经科学应用场景】
脑卒中后运动功能康复（基于首都医科大学神经病学研究背景）：离线RL可从临床数据库（包含患者肌电信号、关节角度、任务完成度及康复训练记录）中学习个性化电刺激或外骨骼控制策略。例如，将患者上肢状态（如协同收缩模式、运动范围）映射为最优刺激参数，避免因在线探索引起痉挛或代偿运动。通过在历史数据中施加策略约束，模型能安全推荐接近临床指南的干预动作。类似地，在癫痫闭环神经调控中，离线RL可利用长程颅内脑电数据，学习在不诱发发作的罕见模式下的刺激时机，规避实时探索带来的致痫风险。该范式直接降低了神经介入的试错成本，为脑机接口康复策略的临床转化提供了可解释、可验证的决策基础。
