术语slug: llm-as-a-judge

LLM 作为裁判

LLM-as-a-Judge

用大模型替代人工对模型输出打分或排序的评测范式,易受自利偏好影响

收录情报动态

共 21 篇 · 第 1/3 页
Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
斯坦福发现 8 款大模型评审医学答案时集体偏袒自身

斯坦福新论文让 OpenAI、Anthropic、Google 与 Qwen 的 8 款模型回答 620 个真实临床问题,再匿名互评全部答案,结果每个评审模型都给自己更高排名,平均高出 1.22 个位次,GPT-5.6 Sol 接近 3 个位次。该偏差在无评分标准时依然存在,公开模型名称也只能削弱 0.094 个位次,说明以 LLM 作为裁判的医学评测存在系统性自利倾向。作者建议改用跨模型家族评审团并分评审报告结果,而非汇总单一分数。

Rohan Paul (@rohanpaul_ai)T2·开发与工程
62 分
Voice Arena 发布首个 AI 听写应用开放基准

Voice Arena 推出 Dictation Bench,这是首个针对 AI 听写应用的开放基准。测试将 87 位说话人的 761 段录音输入 10 款 Mac 真实应用(非 API),由 5 个 LLM 评审判断草稿能否直接发送,Wispr Flow 得分 79%,Apple 仅 35%。该基准公开了参考策略、应用配置与评审指令,为厂商提供了可复现的对比标准。

Apple Machine Learning ResearchT1·基座大模型
62 分
研究揭示 LLM 评审个性化文风能力有限

NeurIPS 2026 研讨会论文系统评估了 LLM 作为评审员判断个性化写作风格的能力。研究发现评审质量与 MMLU 通用能力仅弱相关(Pearson ρ ≤ 0.2),且随写作任务与评价标准显著波动;成对比较比独立打分更稳定可靠,最强模型未必是最可靠的评审。

AWS Machine Learning BlogT1·智能体与协同
42 分
AWS Bedrock AgentCore 引入决策模型优化智能体评估

Amazon Bedrock AgentCore Evaluations 新增对“决策模型”的支持,用于在智能体生命周期中提供结构化、可校准的评分。该功能允许开发者通过自定义评估器(LLM-as-a-judge 或代码逻辑)结合决策模型,实现对策略合规性、工具调用安全性等窄域问题的量化判断,替代传统自由文本生成的不稳定置信度。

Apple Machine Learning ResearchT1·智能体与协同
78 分
在线强化学习框架提升 iOS UI 导航智能体鲁棒性

针对前沿视觉语言模型成本高及小模型易过拟合静态轨迹的问题,提出一种在真实 iOS 应用上直接训练的在线强化学习框架。该框架将智能体解耦为规划与接地模块,利用 LLM-as-a-Judge 提供密集奖励信号,并引入 GiGPPO 算法优化价值估计稳定性,显著提升了智能体在动态界面中的错误恢复能力。

Artificial Analysis (@ArtificialAnlys)T1·基座大模型
68 分
MLCR-AA 更新:Claude Sonnet 5.5 与 GPT-6 Astra 并列医疗长文本推理榜首

Artificial Analysis 更新了 MLCR-AA 榜单,采用更贴近实际病历审查的提示词与三模型评审机制。Claude Sonnet 5.5 和 GPT-6 Astra 以 41.7% 的通过率并列第一,但整体表现显示医疗长文本推理远未被解决,中位模型通过率不足 15%。Qwen3.8 2.4T A95B 领跑开源权重模型。

Artificial Analysis (@ArtificialAnlys)T1·基座大模型
78 分
AA-PersonalityBench 发布 量化大模型个性与沟通风格

Artificial Analysis 推出 AA-PersonalityBench,通过 900 道精选问题评估大模型的 30 种个性特质及 21 项沟通特征。该基准将主观个性聚合为表达力、透明度等八大指数,并客观量化标点使用、Emoji 频率等风格差异,帮助用户根据创意或法律等不同场景选择最适配的模型。

LangChain BlogT1·智能体与协同
35 分
Numan 分享 AI 健康教练评估体系构建经验

英国数字健康公司 Numan 介绍了其 AI 健康教练“Nu”的开发历程,重点阐述了在受监管医疗场景下如何从传统单轮问答评估转向多轮对话质量评估。文章强调评估标准(Eval Criteria)的质量比自动化本身更关键,并提及使用 LangGraph 和 LangSmith 进行调试与部署。

Hacker News AIT2·基座大模型
42 分
Kairos 实验显示 LLM 无法区分真实与伪造记忆

Kairos 实验表明,大语言模型裁判在评估智能体“30天生活史”时,无法有效区分基于日志的真实记忆与由模型生成的虚构自传。评分差异仅为 +0.032,处于统计等价范围内。该结果揭示了当前基于文本的 AI 记忆评估指标的根本缺陷:它们只能衡量叙事风格,而无法验证经历的真实性。