DPO

直接偏好优化（Direct Preference Optimization，DPO）是一种跳过显式奖励模型构建与强化学习采样的模型对齐算法。它直接利用同一 Prompt 下的偏好与拒绝响应对（Chosen/Rejected Pairs），通过解析推导的闭式损失函数直接优化策略模型，使模型输出更符合人类偏好的风格、语气、简洁度与安全拒答边界。