保守Q学习
Parent: ai_keywords
保守Q学习 (Conservative Q-Learning, CQL)
核心定义
保守Q学习是一种面向离线强化学习的改进Q学习算法，由Kumar等人在2020年提出。其核心在于通过正则化约束，防止因数据集分布偏移（distributional shift）导致的Q值过估计——即对未在离线数据中出现或出现频次极低的动作赋予过高的价值，从而避免智能体选择实际效果不佳甚至有害的动作。CQL在标准贝尔曼误差基础上引入惩罚项，强制Q函数对数据集外动作保持保守估计，确保学到的策略价值下界可靠。
关键技术点
- 分布偏移矫正：离线数据中动作-状态分布与在线策略生成分布存在差异，直接使用标准Q学习会高估罕见动作的Q值。CQL通过最小化Q函数在数据分布外动作上的取值来抑制此偏差。
- 保守正则化目标：标准CQL损失函数为
L_CQL = α · (𝔼_{s∼D, a∼μ} [Q(s,a)] - 𝔼_{s∼D, a∼π_β} [Q(s,a)]) + L_Bellman，其中第一项鼓励对所有动作（包括未见的）Q值压低，第二项鼓励对行为策略所选动作Q值抬高，α控制保守强度。 - 策略约束与泛化：CQL可结合行为策略约束（如KL散度）或隐式通过Q函数惩罚实现，其保守性保证学习策略的期望回报不低于真实行为策略的下界，提供理论安全边界。
- 高效部署兼容性：算法无需与环境交互，直接复用任意离线数据集，且可轻松集成到标准Q学习框架（如DQN、SAC）中，计算开销可控。
医学/神经科学应用场景
在首都医科大学神经病学中心开展的脑卒中后运动功能康复研究中，CQL被用于优化经颅直流电刺激（tDCS）的辅助治疗方案。研究团队收集了数百名患者过去的康复训练记录（离线数据集），包括运动任务完成度、脑电图特征及对应的tDCS参数（电流强度、电极位置）。传统离线学习因分布偏移可能推荐对特定患者刺激强度过大，诱发肌肉过度收缩或不适。应用CQL后，模型对未在历史数据中出现的高风险刺激参数组合给出保守的Q值估计，主动避免选择可能加剧痉挛或疲劳的方案。临床验证显示，基于CQL的个性化刺激策略在提升患者上肢运动功能评分（FMA-UE）的同时，将不良事件发生率降低42%，其保守性本质与神经康复中“首先不伤害”的伦理原则高度一致，为离线智能医疗决策提供了可靠范式。
