新智元 (微信公众号)T2·74 分
南京大学团队发布 TestPrism 揭示测试生成合格率被高估一倍
原标题：Coding agent写测试集体失败！AI代码合格率被高估一倍
- 单一参考评测只看一份标准答案，会放过有 Bug 的实现、误杀其他正确写法，导致测试质量被高估
- TestPrism 含 300 个任务与 3000 个候选实现，每个任务配经校验的正确/错误实现面板
- JSF 指标要求测试通过全部正确实现并拒绝全部错误实现，Coding Agent 在该口径下集体失败率显著上升
返回热点榜
llm热度 9.7°
AI 聚合热点事件 · 2026/11/12
南京大学团队发布 TestPrism 揭示测试生成合格率被高估一倍
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/12 12:34:00
全景综述与最新动态
1 家信源交叉印证南京大学刘佳恒团队提出测试生成基准 TestPrism，指出主流单一参考评测（Single Reference Evaluation）会系统性高估 Coding Agent 的测试质量。该基准覆盖 17 个来源的 300 个测试任务与 3000 个候选实现，每个任务配有经校验的正确与错误实现面板，并以 Joint Success Function（JSF）为核心指标，要求测试同时通过全部正确实现并拒绝全部错误实现。结果显示，Coding Agent 在写测试任务上的集体失败率远高于此前评估，AI 代码合格率被高估约一倍。
最新动向/南京大学刘佳恒团队提出测试生成基准 TestPrism，指出主流单一参考评测（Single Reference Evaluation）会系统性高估 Coding Agent 的测试质量。该基准覆盖 17 个来源的 300 个测试任务与 3000 个候选实现，每个任务配有经校验的正确与错误实现面板，并以 Joint Success Function（JSF）为核心指标，要求测试同时通过全部正确实现并拒绝全部错误实现。结果显示，Coding Agent 在写测试任务上的集体失败率远高于此前评估，AI 代码合格率被高估约一倍。
逐小时热度走势
10 个完整观测小时当前
9.7
峰值
11.913:00
近 24h 变化
–
曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。