决策Transformer
Parent: ai_keywords
决策Transformer：深度百科解释
核心定义
决策Transformer（Decision Transformer，DT）是将Transformer架构应用于序列决策问题的强化学习框架。它将强化学习重定义为条件序列建模任务：给定期望的累积回报（return-to-go），模型通过自回归方式输出动作序列。与传统强化学习学习策略或价值函数不同，DT直接利用因果Transformer预测未来动作，离线处理完整轨迹数据。
关键技术点
-
序列建模替代策略学习：将状态-动作-回报三元组视为统一序列，使用GPT式的因果掩码自注意力，直接预测下一个动作，无需显式的价值函数或策略梯度。
-
Return-to-Go（RTG）条件输入：模型输入包括当前状态、上一动作及“未来还需累积的回报”作为条件。通过在推理时设定目标RTG（如最大值），可引导模型生成对应高性能轨迹。
-
离线学习与零样本泛化：完全利用静态数据集（如专家演示）训练，无需与环境交互。得益于Transformer的泛化能力，DT可在未见过的任务上，通过改变输入RTG条件实现“零样本”迁移。
-
行为克隆的进阶：传统行为克隆“看见什么动作就学什么”，DT则通过RTG条件学习“在期望的不同回报水平下”应采取的动作，本质上是一种条件行为克隆。
医学/神经科学应用场景：脑卒中运动功能康复在线优化
在脑卒中后神经康复中，针对上肢运动功能障碍，可构建“脑机接口+功能性电刺激（FES）”闭环系统。决策Transformer可用于优化电刺激参数序列。
- 问题重塑：将一次康复训练建模为轨迹——状态（脑电/肌电特征、关节角度）、动作（FES电流强度、脉冲宽度）、回报（运动完成度、肌肉疲劳度）。
- 离线预训练：使用康复中心历史数据集（包括优秀治疗师的操作序列），训练DT。模型学习在不同患者神经状态和疲劳水平下，如何按时间序列调整刺激参数，以达到高运动完成度（即总回报最大）。
- 在线自适应：实时推断时，系统设定高目标RTG。DT根据当前脑电信号和关节位置，动态预测下一步最合理的电刺激参数，避免传统PID控制的滞后与不精确。相较于传统强化学习，DT的优势在于：无需设计复杂的即时奖励函数（工程难度高），且能直接利用离线数据学习安全的刺激策略，降低诱发肌肉痉挛或过度疲劳的风险。
总结：决策Transformer通过将复杂的序列决策问题转化为条件生成问题，为神经调控领域的闭环策略学习提供了简洁而强大的新范式，尤其适合医学中数据昂贵、安全要求高的离线策略优化场景。
