术语slug: joint-success-function

联合成功函数

Joint Success Function

要求测试通过全部正确实现并拒绝全部错误实现的测试质量评估指标

收录情报动态

共 1 篇 · 第 1/1 页
新智元 (微信公众号)T2·基座大模型
74 分
南京大学团队发布 TestPrism 揭示测试生成合格率被高估一倍

南京大学刘佳恒团队提出测试生成基准 TestPrism,指出主流单一参考评测(Single Reference Evaluation)会系统性高估 Coding Agent 的测试质量。该基准覆盖 17 个来源的 300 个测试任务与 3000 个候选实现,每个任务配有经校验的正确与错误实现面板,并以 Joint Success Function(JSF)为核心指标,要求测试同时通过全部正确实现并拒绝全部错误实现。结果显示,Coding Agent 在写测试任务上的集体失败率远高于此前评估,AI 代码合格率被高估约一倍。