亚马逊论文发现规则类基准答案键与评分代码普遍出错

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/9 05:24:38

全景综述与最新动态

1 家信源交叉印证

亚马逊一篇新论文审计了 9 个公开的规则遵循类基准（如 RuleArena、LegalBench），发现其参考答案与评分代码本身存在错误，导致模型正确答案被误判。以 LegalBench 税务评分为例，评分器删除小数点，把 259,487.13 美元读成 25,948,713，修复后 3 个模型的通过数从 8-9/96 升至 87-91/96。作者建议在看到低分时先读评分代码并人工抽查失败样本。

最新动向/亚马逊一篇新论文审计了 9 个公开的规则遵循类基准（如 RuleArena、LegalBench），发现其参考答案与评分代码本身存在错误，导致模型正确答案被误判。以 LegalBench 税务评分为例，评分器删除小数点，把 259,487.13 美元读成 25,948,713，修复后 3 个模型的通过数从 8-9/96 升至 87-91/96。作者建议在看到低分时先读评分代码并人工抽查失败样本。

逐小时热度走势

2 个完整观测小时

连续完整观测不足 3 个小时，暂不绘制趋势曲线。

报道时间线

共 1 篇 · 最新优先

Rohan Paul (@rohanpaul_ai)T211月9日 05:24·71 分
亚马逊论文发现规则类基准答案键与评分代码普遍出错
原标题：New Amazon paper finds that benchmarks used to grade AI models on tax, legal and business rules ofte...
- 审计 9 个公开规则遵循基准，发现答案键与评分代码存在错误
- LegalBench 税务评分器删除小数点，修复后模型通过数从 8-9/96 升至 87-91/96
- 低分可能反映基准缺陷而非模型能力，需读评分代码并人工抽查
查看关联报道与研判原始网页