Hacker News AIT2·68 分
开源基准 Parsimony 量化 AI 代码冗余:以净语法单元替代行数统计评估模型简洁性
原标题:Show HN: Parsimony – an open-source benchmark for how much code AI models add
- 传统基准仅测试通过率,未惩罚多余代码,导致模型倾向于生成冗长实现。
- Parsimony 使用“净编码单元”(语法元素增删净值)作为度量标准,避免单纯堆砌行数带来的误导。
- 数据源自 SWE-bench Verified,结合 Artificial Intelligence Index 进行多维对比,支持社区贡献新模型补丁。