南京大学

南京大学刘佳恒团队提出测试生成基准 TestPrism，指出主流单一参考评测（Single Reference Evaluation）会系统性高估 Coding Agent 的测试质量。该基准覆盖 17 个来源的 300 个测试任务与 3000 个候选实现，每个任务配有经校验的正确与错误实现面板，并以 Joint Success Function（JSF）为核心指标，要求测试同时通过全部正确实现并拒绝全部错误实现。结果显示，Coding Agent 在写测试任务上的集体失败率远高于此前评估，AI 代码合格率被高估约一倍。