术语slug: preference-optimization

偏好优化

Preference Optimization

利用人类反馈对齐模型输出与用户偏好的训练方法

收录情报动态

共 2 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·开源与评测
72 分
Nous Research 开源 Arete-27B 微调模型 去除中文官方叙事倾向

Nous Research 基于 Qwen3.8-27B 开源了 Arete-27B,仅用 5280 万 token 的监督微调(以 Inkling 为教师模型),未做强化学习或架构改动,即将其自建评测中的宣传式回答占比从 22% 降至 0.9%。代价是事实性均分仅从 2.32 升至 2.98(满分 5),仍落后于 Muse Glimmer 30B,且 803 条评测中仍有 216 条得分为 0;评测集与训练数据均为自建自评。