返回热点榜
llm热度 12.1°

AI 聚合热点事件 · 2026/11/18

斯坦福发现 8 款大模型评审医学答案时集体偏袒自身

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/18 12:52:10
全景综述与最新动态
1 家信源交叉印证

斯坦福新论文让 OpenAI、Anthropic、Google 与 Qwen 的 8 款模型回答 620 个真实临床问题,再匿名互评全部答案,结果每个评审模型都给自己更高排名,平均高出 1.22 个位次,GPT-5.6 Sol 接近 3 个位次。该偏差在无评分标准时依然存在,公开模型名称也只能削弱 0.094 个位次,说明以 LLM 作为裁判的医学评测存在系统性自利倾向。作者建议改用跨模型家族评审团并分评审报告结果,而非汇总单一分数。

最新动向/斯坦福新论文让 OpenAI、Anthropic、Google 与 Qwen 的 8 款模型回答 620 个真实临床问题,再匿名互评全部答案,结果每个评审模型都给自己更高排名,平均高出 1.22 个位次,GPT-5.6 Sol 接近 3 个位次。该偏差在无评分标准时依然存在,公开模型名称也只能削弱 0.094 个位次,说明以 LLM 作为裁判的医学评测存在系统性自利倾向。作者建议改用跨模型家族评审团并分评审报告结果,而非汇总单一分数。

逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时,暂不绘制趋势曲线。

报道时间线

共 1 篇 · 最新优先
  1. Rohan Paul (@rohanpaul_ai)T2·78 分

    斯坦福发现 8 款大模型评审医学答案时集体偏袒自身

    原标题:New Stanford paper finds that all 8 LLMs tested rank their own medical answers higher than other mod...

    • 8 款模型全部自评偏高,平均 1.22 个位次,GPT-5.6 Sol 接近 3 个位次
    • 匿名化与去除评分标准都无法消除偏差,公开模型名仅削弱 0.094 个位次
    • 建议采用跨模型家族评审团并分评审报告,避免单一汇总分数掩盖偏差