术语slug: reward-model

奖励模型

Reward Model

预测人类对输出偏好程度的神经网络模型

收录情报动态

共 5 篇 · 第 1/1 页
Hugging Face BlogT1·开源与评测
78 分
LeRobot v0.6.0 发布:闭环机器人学习框架

Hugging Face 发布 LeRobot v0.6.0,旨在通过“想象、评估、改进”机制闭合机器人学习循环。新版本引入了具备未来预测能力的策略模型、用于成功判定的奖励模型以及将部署失败转化为训练数据的 CLI 工具,并新增六个仿真基准以量化性能。

Hugging Face BlogT1·开源与评测
68 分
Hugging Face 更新 Open R1:聚焦蒸馏与 GRPO 扩展

Hugging Face 团队发布 Open R1 项目第三次更新,明确下一阶段将利用蒸馏数据集训练通用推理模型。核心计划包括将 GRPO 算法扩展至 Qwen2.5-Coder-32B 等大模型以复现 R1-Zero 变体,并融合数学、代码等多领域奖励信号及奖励模型评分机制。

OpenAI 官方博客T1·基座大模型
78 分
OpenAI 揭示奖励模型过优化缩放规律

OpenAI 研究团队发现,在 RLHF 训练中,随着策略优化程度加深,真实人类偏好与代理奖励模型评分之间会出现显著偏差。该研究量化了这种“过优化”现象的缩放规律,指出 KL 散度约束是缓解此问题的关键手段,为 AI 对齐中的奖励建模提供了重要理论依据。