返回全部资讯
OpenAI 官方博客T1·基座大模型

SWE-bench Verified 被指污染,建议改用 Pro 版

原标题:Why we no longer evaluate SWE-bench Verified
68AI 研判分

分析指出 SWE-bench Verified 基准测试存在严重的数据污染和测试缺陷,导致其无法准确衡量前沿模型的编码能力。鉴于此,研究团队建议业界转向使用更严谨的 SWE-bench Pro 作为新的评估标准。

报道正文

SWE-bench Verified is increasingly contaminated and mismeasures frontier coding progress. Our analysis shows flawed tests and training leakage. We recommend SWE-bench Pro.