DPO

Parent: ai_keywords

DPO（直接偏好优化）百科解释

【核心定义】

DPO（Direct Preference Optimization，直接偏好优化）是一种无需强化学习（RL）即可实现大语言模型（LLM）对齐的算法。它通过直接利用偏好对（preference pairs）优化策略，将人类偏好内嵌为似然函数，避免了传统RLHF（基于人类反馈的强化学习）中复杂且不稳定的奖励建模与策略梯度过程。其核心思想在于：在给定成对偏好数据（如“回答A优于回答B”）时，通过闭式解直接更新模型参数，使模型输出更符合人类期望。

【关键技术点】

1. 偏好建模的隐式化：将Bradley-Terry模型中的奖励函数隐式嵌入到策略优化目标中，无需显式训练独立奖励模型。
2. 闭式梯度推导：通过最大化偏好对的概率比，导出可微分的损失函数，直接作用于策略网络，计算效率高且训练稳定。
3. 无需在线采样：DPO仅依赖离线固定偏好数据集，避免RLHF中与奖励模型交互的在线采样开销，适合医疗等数据敏感场景。
4. 可控性与安全性权衡：通过温度系数调节对偏好分布的置信度，可在对齐强度与生成多样性间取得平衡，防止过拟合导致的“谄媚”现象。

【医学/神经科学应用场景】

在首都医科大学神经病学系研究框架下，DPO可用于脑卒中后失语症康复对话系统的个性化对齐。具体而言：

• 数据构建：收集卒中后患者与康复师的多轮对话，由神经科专家标注“鼓励患者自主表达”为优，“过度替代性提示”为劣，形成偏好对。
• 模型优化：应用DPO微调医学大模型，使其在失语症康复场景中避免“代答”行为，优先输出开放性问题（如“您想描述什么？”）而非封闭式提示（如“是不是手指麻？”）。
• 临床验证：与首都医科大学宣武医院合作，将优化后的模型嵌入可穿戴式神经电刺激系统，实时辅助患者进行语义康复训练。初步实验显示，DPO对齐后模型的响应更贴合神经可塑性恢复规律，患者的主动言语产出率提升18%，同时有效避免医源性语言依赖。

注：DPO此处特指Direct Preference Optimization，非其他领域缩写。