LegalBench

亚马逊一篇新论文审计了 9 个公开的规则遵循类基准（如 RuleArena、LegalBench），发现其参考答案与评分代码本身存在错误，导致模型正确答案被误判。以 LegalBench 税务评分为例，评分器删除小数点，把 259,487.13 美元读成 25,948,713，修复后 3 个模型的通过数从 8-9/96 升至 87-91/96。作者建议在看到低分时先读评分代码并人工抽查失败样本。