CWE-bench v2 发布 开源百项网络安全智能体评测任务

返回文章列表

CWE-bench v2：更广泛的覆盖、更高的质量与透明度

发布于 2026 年 11 月 3 日 在 GitHub 上更新 点赞 2

 [Gonzalo Gonzalez chalo2000 关注](https://huggingface.co/chalo2000)  [collinear-ai](https://huggingface.co/collinear-ai)  [Ajay Jagannath ajayjagan2511 关注](https://huggingface.co/ajayjagan2511)  [collinear-ai](https://huggingface.co/collinear-ai)  [Nazneen Rajani nazneen 关注](https://huggingface.co/nazneen)  [collinear-ai](https://huggingface.co/collinear-ai)  [Nathan Habib SaylorTwift 关注](https://huggingface.co/SaylorTwift)       

CWE-bench 旨在测试前沿网络能力的极限。作为我们在 Collinear AI 持续探索的一部分，CWE-bench v2 开放了一个包含 100 个任务的公开数据集，任何人都可以运行该数据集并评估其模型。设置方式与之前相同：智能体（agent）获取一个真实开源仓库的检出代码和一条简短指令，目标是在不破坏现有功能的前提下发现并修复安全弱点。评分完全通过程序化方式进行，因此结果是确定性的，任何人无需额外成本即可复现结果。我们所有的程序化检查均借助 LLM 评审小组精心策划，以确保其在难度和公平性方面达到理想标准。此外，我们还维护着一个 保留集，以便跟踪模型在未见过的任务上的进展。若要在保留集上评估你的模型，请联系 [email protected]。

我们的目标是做到详尽无遗。防御者必须预判攻击者可能入侵的各种途径，并且每次都要准确无误。这 100 个任务涵盖了 91 种不同的 CWE（通用缺陷枚举），涉及广泛的安全漏洞类别。在此表现优异的模型必须理解潜在攻击者可利用的多种弱点表面。仅识别出熟悉模式是不够的。

作为我们精益求精提升质量的努力之一，对于每个任务，我们都确认以下问题成立：

• 指令是否读起来像一条真实的任务指令，而非评测场景？
• 所有被评分的行为是否都能从指令中推断出来？
• 验证器是否检查的是正确行为，而不是某种特定修复方案的结构？
• 起始代码是否失败，而参考修复方案是否通过？
• 在应用新修复后，原始功能是否仍然正常工作？
• 验证器是否能识别并拒绝记忆化的解决方案（例如已知的上游补丁）？

每个任务都经过了人工审核。开源该数据集也是提升质量工作的一部分。我们欢迎对任何任务提供反馈，也欢迎为公开数据集做出贡献。

结果

结果在 Hub 上的两个地方进行跟踪。CWE-bench 数据集页面上的排行榜涵盖开源权重模型，并会自动更新：实验室和社区通过在模型仓库上提交包含结果文件的 PR 来添加结果（操作指南）。如需查看完整对比，包括仅支持 API 的模型（如 Gemini、Claude 和 GPT），请参阅 CWE-bench 排行榜 Space，新模型可通过向该 Space 提交 PR 的方式添加。

来自数据集页面的开源权重模型：

所有评估过的模型，包括仅支持 API 的模型：

在评估的 11 个模型中，Gemini 4 Argon 以 67.8% 的 pass@1 和 81.0% 的 pass@4 领先，略高于 Claude Opus 5.5（67.3% pass@1，78.0% pass@4）。有 95 个任务至少被一个模型解决，这表明这些任务确实是可解决的。然而，即使是排名第一的模型也在每次尝试中都未能解决 19% 的任务集，因此长尾问题远未得到解决。公开数据集、评分器和测试框架均已开源。运行你的模型，告诉我们它的表现如何。

在成本方面，DeepSeek V4.1 Flash (1017)、Claude Opus 5.5 和 Gemini 4 Argon 构成了帕累托前沿：DeepSeek 以每次 rollout $0.04 的成本达到 57.0% 的 pass@1，Opus 以 $1.83 的成本提升了十个百分点，而 Gemini 则以 $3.92 的成本略微领先。

从 Hub 运行

每个任务都是一个自包含的 Harbor 任务（包含 Docker 化环境、指令和确定性验证器），且数据集附带一个 registry.json。因此，Harbor 可以直接从 Hugging Face 仓库运行整个基准测试，无需你自己克隆任何内容：

harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d [email protected] -k 4 \
  --agent <agent> --model <model> --env docker \
  --allow-agent-host <model API host>

-k 4 表示每个任务运行 4 次尝试，报告的分数是所有 400 次试验的平均奖励。该数据集是受限访问的：请先在数据集页面接受其访问条件。由于 Harbor 使用 git 获取任务，因此你还需要将 HF token 保存到 git 的凭据助手中一次：

hf auth login --token $HF_TOKEN --add-to-git-credential

这些任务还带有 rl-environment 标签：相同的环境和验证器不仅可以用于评估防御型智能体，还可以为其训练提供奖励信号。