术语slug: swe-bench

SWE-bench

以真实代码仓库 issue 为任务的软件工程基准,用于评测自动修复能力

收录情报动态

共 11 篇 · 第 1/2 页
Rohan Paul (@rohanpaul_ai)T2·智能体与协同
78 分
伯克利与微软新方法降低编程智能体 token 成本 30.9%

加州大学伯克利分校与微软提出 TokenEconomizer,一个位于智能体外部的黑盒控制器,通过从历史运行中学习应注入哪些事实、剔除哪些未使用工具、何时提前终止失败循环,仅改动提示与工具配置。在 Claude Code、Codex 与 GitHub Copilot CLI 上针对 277 个 SWE-Bench 任务测试,单任务平均成本下降 18.4% 至 30.9%,并在 5 组智能体-模型配置中的 4 组提升了 Pass@1。

Rohan Paul (@rohanpaul_ai)T2·开发与工程
62 分
ByteAsk 开源 C/C++ 智能体 降低 68% 修复成本

ByteAsk 发布开源 C/C++ 编码智能体,通过前置上下文引擎在模型读取代码前定位修改点,将单次运行 token 从 179.5 万降至 39.5 万,降幅约 78%,成本降低 68.1%,同时修复缺陷数量持平。该工具还标记需同步修改的同类代码位置,并仅针对相关测试验证补丁,在冷门项目与难题上节省约 80%。

Marktechpost (@Marktechpost)T2·开发与工程
78 分
微软开源 TokenEconomizer 插件 降低编码智能体成本

微软研究院与加州大学伯克利分校联合开源了 TokenEconomizer,这是一款旨在降低编码智能体(Coding Agents)运行成本的插件。该工具通过从过往会话中学习仓库特定事实、剔除未使用的工具 Schema 以及重定向循环失败来优化上下文,在 SWE-Bench 测试中使平均成本降低了 18.4% 至 30.9%,但伴随轻微的 Pass@1 性能下降。

Hacker News AIT2·开发与工程
68 分
开源基准 Parsimony 量化 AI 代码冗余:以净语法单元替代行数统计评估模型简洁性

Parsimony 是一个开源基准,旨在解决现有评测忽视代码膨胀的问题。它通过计算“净编码单元”(语句、调用等语法元素)而非行数来衡量 AI 添加的代码量,并扣除删除部分,从而更真实地反映模型生成代码的简洁性与可维护性。该工具基于 SWE-bench Verified 数据,为开发者提供了评估大模型代码效率的新维度。

量子位官网T2·智能体与协同
48 分
联想 TianxiCode 智能体登顶 SWE-bench-Live:71% 解决率验证工程架构价值

联想天禧 AI 自研代码智能体框架 TianxiCode 配合 DeepSeek-v4.1-Flash,在 SWE-bench-Live 评测中以 71% 的问题解决率位列全球第一并通过官方 Verified 认证。该成绩凸显了专用智能体架构在复杂软件工程任务中释放模型潜能的关键作用,未来将集成至联想 AI 硬件产品中。

机器之心 (微信公众号)T2·智能体与协同
86 分
LegoFlow 开源:智能体全自动跑通代码数据构建与训练评测全流程

华为、港中文等联合推出 LegoFlow,实现从仓库发现到训练评测的代码数据流水线全自动化。该框架发布包含 5000 个高质量任务的 LegoFlow-SWE 数据集,仅用 1000 条轨迹微调 Qwen3.5-35B-A3B-Base 即在 SWE-bench Verified 达到 70.2%。此外,系统展示了递归自我改进能力,经两轮迭代将模型性能从 7.6% 提升至 64.4%。

Kimi 博客 (月之暗面)T1·基座大模型
86 分
月之暗面开源 Kimi K2.6:主打长程执行与智能体集群

月之暗面正式开源最新模型 Kimi K2.6,重点突破代码生成、长周期任务执行及智能体集群协作能力。基准测试显示其在 SWE-Bench Pro 和 Terminal-Bench 等编码指标上超越 GPT-5.4 与 Claude Opus 4.6,虽略低于内部旗舰 K3,但作为开源版本提供了极具竞争力的性能基线。

OpenAI 官方博客T1·基座大模型
45 分
OpenAI 发布 GPT-5 实战指南:强调提示词重构与智能体任务控制,SWE-bench 得分达 74.9%

OpenAI 推出针对 GPT-5 模型的开发者实战指南,指出该模型在代码生成和智能体任务上表现更强且更可控。指南核心观点是旧版提示词无法直接迁移至 GPT-5,开发者需根据新模型的独特行为逻辑重新调整 Prompt 以释放其潜力。文中披露 GPT-5 在 SWE-bench Verified 基准测试中达到 74.9% 的准确率,标志着其在复杂多步推理和工作流编排上的重大突破。

OpenAI 官方博客T1·基座大模型
92 分
OpenAI 发布 GPT-5:SWE-bench 达 74.9%,主打编码与智能体协作

OpenAI 正式在 API 平台推出 GPT-5,宣称其为迄今最强的编码与智能体任务模型。该模型在 SWE-bench Verified 上取得 74.9% 的 SOTA 成绩,并在前端开发及复杂代码库修复中表现卓越,具备高可控性与工具调用前的解释能力。早期测试显示其显著降低了工具调用错误率并提升了幻觉抑制能力。