RadarAI· X：Rohan Paul (@rohanpaul_ai)·· 3 小时前AI 评分58
Amazon 论文审计 9 个政策决策基准，发现评分器和参考答案自身有错
AI 导读
Amazon 新论文发现，用于评测模型处理税务、法律和商业规则的基准常把正确答案判错，问题出在基准自身的参考答案或评分代码。研究团队审计了 9 个公开基准，通过回溯规则原文、重跑参考程序、用受控答案测试评分器，并在修复后对同一批已保存的模型回答重新打分。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-11-09 05:24· 1 小时前AI 评分59
AI 导读
Amazon 论文审计 9 个政策类决策基准，发现用于评测模型处理税务、法律和商业规则的基准常把正确答案判错，原因在基准自身的参考答案或评分代码有误。
正文 · 原文
Amazon 的一篇新论文发现，用于评测 AI 模型在税务、法律和商业规则方面表现的基准常常把正确答案判错，因为这些测试自身的答案键或评分代码存在错误。
RuleArena 和 LegalBench 等基准测试模型能否将书面规则应用于税务、法律和商业案例。如果参考答案或评分器有误，分数衡量的就是基准自身的缺陷，而不是模型的表现。
他们审计了 9 个公开基准，方法是将参考答案追溯至源规则、重新运行参考程序，并用受控答案测试评分器。随后，他们在每次修复后对同一批已保存的模型回答重新评分。
LegalBench 的税务评分器会删除小数点，因此 $259,487.13 被读成 25,948,713。修复后，3 个模型各自的通过答案数从 8 或 9 个提升到 96 个中的 87 至 91 个。
在相信某个规则遵循基准给出的低分之前，请先阅读评分器代码，并手动检查几个被判错的答案。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news