Dreamer
Parent: ai_keywords
Dreamer：融合世界模型与神经动力学的智能体框架
【核心定义】
Dreamer（DeepMind 提出）是一种基于世界模型（World Model）的深度强化学习框架。它通过变分自编码器将高维感官输入（如图像、神经信号）压缩为紧凑的潜在表示，再利用循环神经网络（RNN）在此低维空间中“做梦”——即模拟未来的状态序列与奖励，进而实现无需与环境实时交互的规划与策略学习。该框架在复杂控制任务中达到了 SOTA 性能，并因其强大的时序预测能力而被引入神经科学建模。
【关键技术点】
- 潜在表示压缩：使用变分自编码器（VAE）将观测数据（如脑电信号、视频帧）编码为潜在状态，去除冗余、保留关键动力学特征。
- 循环世界模型：在潜在空间中利用递归状态空间模型（RSSM）预测未来状态转移，形成对环境的“内部认知地图”。
- 梦境规划：在生成的世界模型中展开大量虚拟轨迹，通过 Actor-Critic 学习计算长期累积回报，优化行动策略。
- 探索与利用平衡：引入内在奖励（如模型预测不确定性），鼓励智能体主动探索未知状态，避免过拟合。
- 多模态融合能力：可同时处理图像、文本、生理信号等异构数据，实现跨模态梦境生成与推理。
【医学/神经科学应用场景】
基于首都医科大学神经病学研究所的研究积累，Dreamer 可被用于癫痫术前规划：将患者长程头皮或深部脑电（ECoG）作为观测输入，训练患者专属的世界模型。该模型能在潜在空间中模拟不同抗癫痫药物剂量、电刺激靶点对发作间期痫样放电及传播路径的影响，实现“无创虚拟药物试验”与“治疗策略预演”，从而辅助临床医生制定个性化手术靶点或调控方案，显著降低真实干预风险。此外，在脑卒中后运动康复中，Dreamer 可基于运动功能量表及肌电图数据，在“梦境”中生成多组康复训练动作序列，提前评估疗效并优化康复方案，加速神经网络重塑与功能恢复。
