新智元 (微信公众号)T2·78 分
LoLBench 发布：实测 Claude 在大型代码库需求交付中成功率仅 14%
原标题：5000词需求文档，Claude也只能交付14%！实测28种Agent组合
- LoLBench 聚焦于大型代码库（~240万行）中的端到端需求交付，而非局部 Bug 修复。
- Claude 等主流模型在跨模块一致性修改上表现不佳，整体任务完成率仅约 14%。
- 实验表明，单纯增加实现指引难以解决 Agent 在理解系统约束和依赖关系时的根本缺陷。
返回热点榜
agent热度 10.4°
AI 聚合热点事件 · 2026/11/4
LoLBench 发布：实测 Claude 在大型代码库需求交付中成功率仅 14%
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/4 18:03:00
全景综述与最新动态
1 家信源交叉印证复旦等机构推出 LoLBench，评估 AI Agent 在平均 240 万行代码的大型软件系统中从需求到交付的能力。实测显示，即便使用 Claude 等先进模型，Agent 在跨模块修改与完整功能实现上的成功率仅为 14%，暴露出当前智能体在长程复杂工程任务中的显著短板。
最新动向/复旦等机构推出 LoLBench，评估 AI Agent 在平均 240 万行代码的大型软件系统中从需求到交付的能力。实测显示，即便使用 Claude 等先进模型，Agent 在跨模块修改与完整功能实现上的成功率仅为 14%，暴露出当前智能体在长程复杂工程任务中的显著短板。
逐小时热度走势
7 个完整观测小时当前
10.4
峰值
11.719:00
近 24h 变化
–
曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。