机器之心 (微信公众号)T2·78 分
统一多模态模型学会自我反思 修复成功率提升 3 倍
原标题:不靠外部裁判,统一多模态模型学会自己「看图改图」:修复成功率提升到3倍,GenEval 0.72→0.84
- 同一模型完成诊断与重画,推理时无需外部打分器或额外评审模型
- 修复成功率由 20.6% 升至 64.9%,GenEval 0.72→0.84,空间位置 0.47→0.89
- 在未见过的 WISE 上提升 11 点,比直接对生成器做强化学习高近 20 点
AI 聚合热点事件 · 2026/11/10
南洋理工大学、上海交通大学与东京大学的研究者提出 UMM-Reflection,在开源统一多模态模型 BAGEL 上用强化学习训练完整的「反思—修改」多轮轨迹,让同一模型自行写出诊断并据此重画,推理阶段无需任何外部打分器。训练后模型对初始错误图像的修复成功率从 20.6% 提升至 64.9%,GenEval 从 0.72 升至 0.84,空间位置子项由 0.47 跃升至 0.89,在未见过的 WISE 基准上提升 11 个点。代码、模型与训练数据均已开源。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:不靠外部裁判,统一多模态模型学会自己「看图改图」:修复成功率提升到3倍,GenEval 0.72→0.84