GitHub 开源 ReviewBench:AI 代码审查基准

作者:Michelle Zhou原标题:ReviewBench: An open benchmark for AI code review
68AI 研判分

GitHub 推出 ReviewBench,这是一个旨在评估 AI 智能体代码审查质量的开源基准。该工具通过模拟真实 Pull Request 场景,提供按严重性、类别及精确率-召回率偏好的多维分解能力,帮助开发者量化不同 AI 审查系统的实际表现与权衡取舍。

报道正文

本文目录23 个章节

Agentic 代码审查正日益成为软件开发流程中不可或缺的一环。它帮助你检查拉取请求(Pull Request),发现潜在问题,并在代码发布前确定哪些内容需要重点关注。

然而,现有 AI 审查工具的质量往往难以量化,而在判断某款工具是否对你有所帮助之前,你需要先了解其优势所在。有些审查工具能发现更多问题,有些则产生的噪音更少;有些擅长捕捉关键缺陷,而另一些则也能提出细微的改进建议。在你的工作流中,代码审查可能需要承担不同的职能。

因此,深入理解不同审查工具的实际表现至关重要:它们各自能发现什么、遗漏什么,以及做出了怎样的权衡取舍。一个优秀的代码审查基准测试应当反映真实拉取请求的多样性,涵盖广泛的审查发现,并支持按严重程度、类别及精确率-召回率偏好进行有意义的细分分析。对于构建代码审查智能体的团队而言,该基准还应提供一种离线信号,能够可靠地追踪变更是否可能改善生产环境中的用户体验。现有的基准测试通常在标签质量、覆盖范围以及对真实世界代码审查的代表性之间做出妥协,从而留下了一个空白领域——即缺乏一种严谨且可复现的评估方法论,能够将上述要素有机结合。

为填补这一空白,我们构建了 ReviewBench,一款全新的代码审查离线基准测试,现已开放供你使用。ReviewBench 遵循 GitHub 上超过 1 亿个真实拉取请求的语言分布、仓库规模及变更大小分布特征。它采用多源黄金标准集和一致的评估细则,并经过资深工程师的独立验证。同样重要的是,借助 ReviewBench,我们对 Copilot 代码审查(CCR)的离线评估在预测生产实验趋势方面变得更加有效,使我们更有信心确信所测得的改进确实能为用户带来实质性的收益。

在本文中,我们将详细介绍 ReviewBench 的构建过程、如何建立可靠的基准真值与评分机制,以及如何接入你自己的代码审查系统并提交结果。

1

我们构建了什么

面向 AI 代码审查智能体的逼真且全面的基准测试

1.039 亿

GitHub 拉取请求

按语言、仓库规模和变更形态分析分布情况。

具有代表性的基准语料库

219 个公开 Pull Request,涵盖 19 种语言,其分布与 GitHub 整体分布保持一致,同时保留了具有实质性的代码审查案例。

多源黄金标准集(Golden Set)

  • 人工审查员
  • 前沿大语言模型(Frontier LLMs)
  • 静态分析工具

结构化发现项

每个发现项均标注了严重程度和类别,支持用户按需进行切片分析。

严重程度

  • Critical(严重)
  • Medium(中等)
  • Low(低)

类别

  • Correctness(正确性)
  • Security(安全性)
  • Reliability(可靠性)
  • Maintainability(可维护性)
  • Testing(测试)
  • ......

评估指标

四项指标用于衡量已知问题和新发现的问题。

  • Grounded precision(基于事实的精确率)
  • Grounded recall(基于事实的召回率)
  • Augmented precision(增强型精确率)
  • Augmented recall(增强型召回率)

客观评估

客观地衡量改进效果并在不同智能体之间进行比较。帮助用户选择最适合其需求的代码审查器。

2

我们如何确保可信度

从评分标准到专家验证及生产环境检查的可审计链条

公开的评分标准

所有发现项遵循统一的明确标准。

人工标注的开发集

由资深工程师确立基准真值(Ground Truth)。

校准后的评分器

与人类判断保持一致。

统一标注

所有来源采用相同标准。

公开的一致性数据

对基准质量进行专家审计。

端到端可审计

96.6% 的一致性

在发布前,资深工程师独立标注了黄金标准中的真正例(True-Positives)。

预示生产环境的离线信号

基准测试结果的变化会与在线实验进行对照检查。

  • 改进通常会在在线实验中体现出来
  • 退化也通常会在在线实验中体现出来

ReviewBench 的工作原理

我们的基准测试围绕以下五项原则构建:

1. 具有代表性的 Pull Request,而非演示数据集

我们分析了 1.039 亿个 GitHub Pull Request,以刻画代码审查工作负载的真实世界分布。ReviewBench 包含来自 187 个采用开源许可证的公共仓库的 219 个 Pull Request,涵盖 19 种语言,其语言和仓库规模分布与 GitHub 整体情况高度吻合。完整的基准数据集已公开发布。

我们对这一分布做了一项有意为之的调整:虽然语言和仓库规模直接镜像了 GitHub 的整体情况,但 Pull Request 的大小权重向“可审查”的中部和尾部倾斜。这减少了极小的单文件变更的过度代表,同时保留了更多具有实质性内容的多文件 Pull Request——在这些场景中,审查质量最为关键。

语料库快照速览:

2. 广泛挖掘基准真值,并独立评判

没有任何单一评审者——无论是人类还是模型——能够识别出 Pull Request 中所有值得发现的问题。为了构建一个更广泛、更可靠的基准真值(ground truth)发现集,我们遵循以下三阶段流程:

  • 从多样化来源收集候选发现。 我们从真实的人类评审者、通过作者后续提交推断出的问题、确定性分析工具以及跨不同模型家族的多个前沿 LLM 中收集发现。
  • 对重叠发现进行语义去重。 我们将指向同一底层问题的发现合并,从而扩大覆盖范围,同时避免不同生产者之间的一致性人为地膨胀黄金集,或使其依赖于某一特定来源的盲点。
  • 在共享评分标准下验证发现。 发现的来源并不决定其正确性:只有当某个发现是真实的、相关的且非琐碎的时,它才被计为真正例(true positive)。我们使用 Claude Sonnet 5 作为 LLM 评分器,对所有提交应用一致的评估评分标准。为了确保透明度和可复现性,我们公开了评估评分标准以及用于执行该标准的评判模型。

3. 衡量已知和新发现问题指标

大多数基准测试仅针对固定的黄金集报告精确率(precision)和召回率(recall)。ReviewBench 报告两组共六项指标:

  • 基于黄金集的精确率、召回率和 F1 分数仅使用现有的黄金集标签。它们提供了严格的、同口径的比较:在我们已知的问题中,智能体发现了多少?其发现中有多少比例匹配已知问题?
  • 增强型精确率、召回率和 F1 分数还评估那些未匹配黄金集中任何内容的发现。评判模型独立确定这些未匹配的发现是真正例还是假正例,从而使评审者因提出黄金集生产者均未发现的合理问题而获得认可。

随着评审智能体能力的提升,这一区别变得愈发重要。固定的黄金集不可避免地会变得不完整,因为系统会发现其创建者未曾预料到的问题。增强型指标使 ReviewBench 能够识别这种行为,而不是自动对其进行惩罚。由于增强型召回率会根据每个智能体的发现扩展分母,我们将基于黄金集的召回率作为跨系统比较的主要指标,并将增强型指标作为额外的单系统诊断工具。

4. 针对不同评审偏好的可配置评估

不存在一种放之四海而皆准的最佳代码审查体验。有些开发者可能希望只关注严重问题,而另一些开发者则同样看重低严重性、非破坏性的发现。有些人偏好更广泛的覆盖范围,而另一些人则优先考虑精确度和最小化噪声。还有一些人可能有特定需求,例如专注于安全或隐私的审查。

ReviewBench 允许按严重性和类别对结果进行细分,同时通过精确率(precision)和召回率(recall)来体现不同的操作偏好。用户还可以调整 Fβ 分数中的 β 值,以便在追求更广覆盖时赋予召回率更高权重,或在追求更低噪声时赋予精确率更高权重。随着这些偏好的变化,排行榜会相应地重新排序,帮助用户识别最符合其审查优先级的系统。

5. 内部审计与可复现评估

在发布之前,我们邀请未参与基准数据集构建的资深工程师独立从头重新标注每一个真实标签(ground-truth)发现。他们的真阳性/假阳性判断与 ReviewBench 的一致率达到 96.6%。我们对每次评估中使用的基准数据集、评判器(judge)和匹配器(matcher)进行版本控制,以确保结果可以在相同的基准配置下进行比较,并在基准更新时重新验证。我们还公开了验证方法、一致性度量以及已知的有效性威胁,以便读者了解基准质量是如何评估的,以及不确定性存在于何处。

探索 ReviewBench

ReviewBench 的研究预览版现已通过 ReviewBench 网站 提供,您可以在那里探索完整的基准测试,比较代码审查智能体(code review agents),并引入您自己的智能体进行评估和迭代。

借助 ReviewBench,您可以:

  • 探索完整的基准测试数据集。 ReviewBench 完整数据集已公开可用,包括拉取请求(pull requests)、发现的问题、标签、严重程度及类别标注。这使您能够确切了解系统评估的内容,并复现基准测试结果。
  • 在排行榜上对比系统性能。 基于完整基准数据评估的代码审查智能体结果发布在统一的排行榜上,提供涵盖整体性能、严重程度、类别以及不同精确率–召回率偏好的多维视图。
  • 引入自有智能体并进行迭代优化。 完整的基准数据集、评估方法、LLM 评判提示词、评判模型配置以及自助运行器均已公开,因此您可以评估自己的代码审查智能体,洞察其优势与不足,并在相同的基准配置下进行持续迭代。

我们如何使用 ReviewBench

我们利用 ReviewBench 对 Copilot 代码审查 (CCR) 的连续迭代版本进行评估,从而获得一种一致的方式来衡量进展、捕捉回归问题并优先处理有潜力的改进。随着时间推移,这帮助我们提升了产品质量。ReviewBench 最具价值的优势之一在于,它提供了关于产品变更在生产环境中表现如何的早期离线信号。在 A/B 测试之前通过 ReviewBench 评估的实验表明,离线结果始终与后续生产环境中的观察结果方向一致。

最近的一项轻量级实验为这一广泛模式提供了具体示例。我们引入了多模型集成审查机制,将多个独立的模型运行结果合并为单次审查,而非依赖单一运行结果。ReviewBench 预测该方案能带来更高的精确率、召回率和评论数量,同时降低每次审查的成本。

为了对比离线与生产环境的结果,我们使用相应的在线指标。解决率(Addressed rate)作为精确率的在线对应指标,是指 LLM 判定促使开发者进行相应代码更改的 CCR 评论百分比,判定依据包括代码差异(diff)、讨论线程、反应表情、解决状态以及审查后的代码。对于召回率,我们衡量仍需多少额外的人工审查。

线上 A/B 测试的结果与 ReviewBench 的预测方向一致:相较于生产环境对照组,处理率(精确率)提升了 8.0%,召回率提升了 13.6%,评论数量增长了 61%,而单次评审成本降低了 8.0%。

然而,仅凭评论数量无法反映评论质量。更为关键的发现意味着其价值远不同于低严重程度的琐碎建议。ReviewBench 基于严重程度层级的评估也捕捉到了这一点:它预测关键评论将增加 227%,而实际线上数据为 262%,同时也预测出了向中等严重程度评论增多、琐碎建议减少的整体趋势转变。

这为我们提供了一种在运行生产实验之前快速且可复现的信号。线上实验仍然是衡量用户影响的最终标准,但 ReviewBench 让我们更有信心判断哪些改动值得投入线上测试。

如何提交你自己的评测运行

  1. 使用 GitHub 登录 ReviewBench 网站。
  2. 注册你的 Agent。 提供容器镜像、配置信息以及你自己的模型密钥。我们提供评判器(Judge)。
  3. 在测试集上尝试。 针对包含 25 个 PR 的测试集运行,查看每个 PR 的详细结果,并在调整配置时重复此过程。
  4. 进行最终运行。 准备就绪后,运行完整的 219 个 Pull Request 集合(共三轮),由与其他所有参赛条目相同的评判器进行评分。
  5. 发布到排行榜。 在维护人员审核并批准提交之前,你的分数保持私密。只有当新分数超过该 Agent 当前的排行榜分数,或者这是该 Agent 首次进入排行榜时,分数才会被发布到排行榜上。

我们邀请你探索 ReviewBench,评估你自己的系统,挑战我们的假设,并帮助我们改进这一基准测试。我们期待与研究人员和从业者合作,使代码评审评估更加开放、可靠和实用——并最终推动 AI 代码评审技术的发展。

致谢

ReviewBench 是 GitHub 和 Microsoft 团队共同努力的成果。我们要感谢构建它的研究人员和工程师们:他们设计了方法论,筛选了 Pull Request,构建了黄金数据集和评估流水线,并使这一基准测试成为任何人都可以运行的工具。

文章 ReviewBench: An open benchmark for AI code review 首发于 The GitHub Blog。