量子位 (微信公众号)T2·78 分
DHSA 提出推理时偏好对齐新范式:仅用 256-16384 个控制参数即可达到 DPO 水准
原标题:偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准
- 提出残差竞争图(RCM)技术,将外部偏好映射回推理时的原生计算,量化组件对目标的支持或抵消作用。
- 发现即使模型输出符合偏好,内部仍可能存在抵消目标的计算作用,DPO 等训练方法并未完全消除这种内部竞争。
- DHSA 方法通过少量控制参数在推理时直接干预隐状态,实现了不动基座权重且达到 DPO 水准的对齐效果。