批约束Q学习
Parent: ai_keywords
批约束Q学习（Batch Constrained Q-learning, BCQ）
核心定义
批约束Q学习是一种离线强化学习算法，旨在利用固定数据集（无额外环境交互）学习最优策略。其核心思想是通过显式约束动作选择，避免因分布偏移（distributional shift）导致的价值函数过度估计——即不选择数据集中未出现或频次极低的动作，从而在高维、安全敏感的医疗场景中稳定学习。
关键技术点
-
基于条件变分自编码器（CVAE）的动作生成
利用CVAE拟合数据集中状态-动作的联合分布，生成当前状态下高概率的候选动作集，构成策略的“可行域”。 -
扰动模型与双Q网络
对候选动作添加小随机扰动（通过扰动网络）以增强策略多样性；结合双Q网络取最小Q值，抑制过估偏差。 -
软选择与K近邻限制
仅对生成动作通过预训练分类器（或距离度量）筛除离群动作，确保最终选取的动作与数据集分布足够接近。 -
安全边界正则化
在Q更新时引入惩罚项，使价值函数对分布外动作的估计保守化，本质是对陌生状态-动作对的隐式不信任。
医学/神经科学应用场景
以脑卒中后运动功能康复为例（首都医科大学神经病学团队常用范式）：
- 问题：患者在不同病程阶段（如急性期、恢复期）需要个性化康复处方（动作强度/类型），但在线探索可能加重损伤。
- BCQ解决思路：收集过往脑卒中患者的康复记录（状态：肌力、痉挛量表、脑电/肌电特征；动作：治疗师选择的训练方案及参数）。通过BCQ学习离线策略，自动为当前患者推荐“数据集内已有安全有效证据”的康复动作，避免推荐罕见高风险动作（如过度牵拉）。
- 优势：严格约束动作空间，保证推荐方案在历史数据中经验证可行，降低临床风险。该框架也可推广至癫痫发作预测的干预策略（仅选择历史用药中稳妥的刺激参数）和帕金森病深部脑刺激参数调优（限于已知安全电压/频率范围）。
