Ai2 发布 Novelty Bench 评估 LLM 科研选题新颖性判断能力

今天，我们发布了 旧想法，新问题（Old Ideas, Novel Problems），这是一项关于大语言模型在评估科学研究想法新颖性方面可靠性的新研究。除了论文之外，我们还发布了一个基准测试、数据以及用于测试“新颖性评判器”的代码，此外还提供了一个自动化流程，供研究人员用来构建新的评估集。

在 Ai2，我们一直在开发支持科学发现不同环节的人工智能系统。DataVoyager 帮助研究人员探索和分析结构化数据，AutoDiscovery 生成并验证假设，而 Theorizer 则将大量文献中的证据综合成候选科学理论。这些项目与 Asta 一起，指向了能够协助研究人员从理解先前工作过渡到提出、测试和完善新想法的系统。

然而，生成研究想法只是自动化科学发现挑战的一部分。这些想法还需要贡献真正的新内容，这意味着这些系统需要一种方法来区分新颖的方向和那些主要重新包装现有工作的方向。

这种判断通常交给另一个 LLM——我们称之为 novelty judge（新颖性评判器）。新颖性评判器评估一个研究想法相对于先前工作是否新颖，无论是独立评估还是与其他想法进行比较。目前尚无构建此类评判器的标准方法；研究团队自行选择模型、提示词、评估格式、推理预算，有时还包括文献检索系统。这些选择可能会显著影响最终判定结果。然而，这些评判器往往仅在人类撰写的论文上进行验证，而不是在实际旨在评估的 AI 生成想法上进行验证。

我们最新的基准测试结果揭示，新颖性评估本身远非可靠。在针对六个 LLM 评审模型——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——的测试中，评估设置看似微小的变动竟会导致对同一想法产生截然不同的判断。在一项实验中，仅修改提示词中的几个单词，就使模型在识别两个想法哪个更具新颖性时的准确率波动超过 50 个百分点。检索增强和额外推理并不能持续改善判断结果，而两个专门构建的新颖性评估系统的表现甚至不如简单的提示版 Claude Opus 4.6 基线。

如果 AI 要在科学发现中发挥更大作用，我们需要更可靠的方法来判定它是否真正提出了新东西。我们的工作为研究这一问题提供了工具，同时也展示了该领域仍有大量未解之谜。

构建新颖性评审基准

为了测试新颖性评审模型区分高新颖性与低新颖性研究想法的能力有多可靠，我们首先需要那些关于其底层科学贡献原创性拥有强有力证据的案例。

因此，我们围绕 ICLR 2026 的同行评审构建了一个自动化流程。我们没有将论文录用与否作为新颖性的代理指标，而是从评审意见中挖掘审稿人明确讨论贡献原创性的段落。这一区别至关重要；只要在其他方面足够出色，一篇论文即使缺乏特别的新颖性也可能被录用。同样，一篇具有原创贡献但被拒稿的论文可能存在其他弱点。

我们创建了一个包含 154 个人类撰写研究想法的高新颖性池，这些想法选自 ICLR 研究领域评分前 10% 的已录用论文，且审稿人正面肯定了其新颖性，同时没有任何审稿人对此提出质疑。我们应用相反的标准构建了一个低新颖性池：包含 145 个来自评分后 10% 的被拒稿论文的想法，这些论文的审稿人提出了原创性方面的担忧，且没有任何审稿人正面肯定其新颖性。在对评审挖掘过程的单独检查中，标注员在 50 个案例中有 47 个与提取出的新颖性信号极性一致；所有分歧案例都不会改变审稿人是被计为赞扬还是质疑论文新颖性的分类。

这两个池子共同构成了我们的第一个评估设置，即 Human-Only（仅人类），该设置旨在测试新颖性评判者能否区分具有较强证据表明其新颖性较高或较低的人类创作想法。但在实践中，新颖性评判者正越来越多地被用于评估 AI 生成的想法。因此，我们创建了第二个设置，即 Human+Generated（人类+生成）。

对于这个池子，我们将经过验证的 154 个人类想法与由简单 LLM 生成器产生的 154 个想法进行了配对。我们假设生成的想法比对应的人类创作想法新颖性更低；这些是弱标签，并非对每个想法的已验证判断。生成器仅接收一个研究领域和一个提出新颖想法的指令，没有文献搜索、工具使用、迭代或反馈。这为我们提供了一个保守的比较基准：一边是基础生成器的想法，另一边是 ICLR 前 10% 论文的贡献，且后者得到了审稿人对其原创性的明确认可。

作为额外的检查，一位专家独立审查了 30 组 Human+Generated 配对，这些案例主要集中在我们最强评判者出错的情况上。此外，我们将人类和 AI 生成的想法重写为统一结构，以测试评判者是否仅仅是在对写作风格的差异做出反应。专家在所有 30 组配对中都更偏好人类的想法，并认为没有任何一个生成的想法具备新颖性。

重要的是，我们的许多核心发现并不依赖于这些标签。如果两个合理的评估设置对同一对想法给出了相反的答案，那么这种分歧本身就揭示了不稳定性。

微小的变化可能导致截然不同的裁决

利用我们收集的人类创作和 AI 生成的研究想法，我们测试了六个 LLM 评判者——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——通过逐点比较（即绝对新颖性评分）和成对比较（即比较两个想法以找出最具新颖性的那个）来评估新颖性的能力。我们每次只改变一个因素：提示词（prompt）、推理预算、评判者是否能看到相关论文、想法的格式化方式、合并多少判断以得出最终裁决，以及对于 AI 生成的想法，是由哪个模型生成的。

性能的最大波动来自于我们如何提示模型去评判新颖性。

例如，我们向 GPT-5.4 展示了相同的 Human+Generated（人类创作+AI生成）配对数据——每一对包含一个经过验证的人类创意和一个 AI 生成的创意——并使用了两个不同的提示词。其中一个提示词告知模型，评审员发现每对中恰好有一个创意具有新颖性，并要求其指出是哪一个；另一个提示词则仅询问哪个创意具有新颖性。当我们切换到更简单的提示词时，准确率从 93.5% 降至 40.9%——低于随机猜测水平——并且模型在超过一半的相同配对中改变了判定结果。

相比之下，在 Human-Only（仅人类创作）数据集上，同样的提示词变化仅使准确率波动了约七个百分点，该数据集将人类创作的创意与强弱不等的新颖性证据进行配对。这表明，新颖性评判器在处理人类创作的研究成果时可能表现得相对稳定，但在处理 AI 生成的创意时行为却截然不同。

话虽如此，人类创作的创意也并非完全不受影响。我们在 Human-Only 数据集上也观察到了显著的波动；同样的变化导致 Claude Opus 4.6 的准确率变动了 21 个百分点。只是这些波动不如在 AI 生成创意上那么剧烈。

此外，并不存在普遍更优的提示词。例如，当单独评估创意时，移除一条警告评判器不要将琐碎或渐进式贡献视为新颖的指令，会提高某些评判器的准确率，同时降低其他评判器的准确率。换句话说，在一个模型上效果良好的提示词未必能迁移到另一个模型上。

我们还测试了新颖性评判器的一种常见用途：比较来自两个不同 AI 生成器的创意。我们将 Claude Opus 4.5 的创意与 Claude Sonnet 4.5 的创意配对，并将 GPT-5.4 的创意与 GPT-5.1 的创意配对。在测试的各种提示词变化中，六个评判器的平均判定结果约有四分之一到三分之一发生了改变。这种分歧可以在不假设哪个生成器产生更具新颖性的创意的前提下进行衡量，从而展示了评判器提示词的选择如何影响创意生成系统之间的比较。

更多的搜索和推理并不一定能带来更好的新颖性判断。我们给 GPT-5.6 Sol 提供了极高的推理预算，并允许其进行仅限于 arXiv 的实时迭代搜索，然后将其与标准检索评判器进行比较，后者每次仅查看五个预先检索到的摘要。（在此对比中，所有评判器对每个想法只运行一次，针对的是 Human+Generated 数据集。）该智能体评判器的宏平均 F1 分数（macro-F1）为 0.78——比 Claude Opus 4.6 的 0.89 低 11 个百分点，且大致处于更简单的 Claude Opus 4.5 和 GPT-5.4 配置的水平——但在当前 API 价格下，其单次决策成本约为后者的 10 倍。（在此语境下，宏平均 F1 衡量的是评判器识别新颖和非新颖想法的能力；分数越高越好。）

专门构建的评估器在准确性上也没有优势，尽管其成本要高得多。在 Human+Generated 数据集上，一个使用低推理强度并在三次调用中进行多数投票的简单 Claude Opus 4.6 提示词达到了 0.854 的宏平均 F1 分数，总评估成本仅为 2.59 美元。相比之下，Idea Novelty Checker 是一个基于文献的检索和重排序流程，其得分为 0.642，成本为 30.66 美元；而 Sakana AI 的 AI Scientist，其新颖性评估器会迭代搜索 Semantic Scholar，得分为 0.772，成本高达 82.05 美元。（这两个专用评估器均使用 Claude Opus 4.6，每次决策调用一次。）

换句话说，简单的提示基线模型不仅比任何一个专门构建的系统更准确，而且成本低得多。

综合来看，这些结果表明，新颖性评估在面对这些系统日益需要评判的 AI 生成想法时，表现得尤为脆弱。

迈向更可靠的新颖研究评估

我们的结果表明，基于 LLM 的新颖性评估仍然是一个重大的开放性问题。在人类撰写的研究上表现可靠的评判器，在处理 AI 生成的想法时可能会表现出不同的行为；有助于某个模型的提示词可能会损害另一个模型的表现；而更多的搜索或计算资源并不一定能产生更一致的判断。

未来的工作应在评判器实际将评估的想法类型上进行测试，测量其对不同提示词和模型的敏感性，改进先前文献的整合方式，并构建能够随着科学文献的增长和 AI 系统的进步而演进的基准测试。我们的基准测试和可复用的数据管道是一个起点——研究人员可以将其应用于新的同行评审、其他科学社区以及未来一代的新颖性评判器。

自动化创意生成不仅依赖于产生看似合理的研究方向，我们还需要方法来判断这些想法是否真正具有新颖性。通过使当前新颖性评估器的弱点更易于量化，我们希望此次发布能帮助研究人员构建更稳健的方法来评估 AI 生成的研究想法。

本文提及的数据集 1

该作者的更多文章

[

LitPivot：通过在文献格局中的动态情境化来开发研究想法

38 October 23, 2026](https://huggingface.co/blog/allenai/litpivot)[

OlmoEarth v1.3：面向全球的最先进嵌入模型

15 October 22, 2026](https://huggingface.co/blog/allenai/olmoearth-v1-3)

社区

编辑预览 通过拖拽、粘贴或点击此处上传图像、音频和视频。点击或粘贴此处以上传图片 评论