arXiv cs.CL· Yanru Xiao, Yifei Cai·· 11 小时前AI 评分38
审计发现九个政策决策基准存在评分错误，提出 BAR 修订方案
Follow the Policy, Fail the Benchmark: Auditing and Revising Policy-Based Decision Benchmarks
AI 导读
研究者审计九个公开政策决策基准，发现存在无依据的目标答案、重放后仍存活的参考错误，以及拒绝可接受答案或给不完整决策记分的评估器。在 LegalBench SARA 的 96 个数值案例上，仅修正评分器就让三个模型的接受率各提升超过 80 个百分点；RuleArena Tax 中恢复必需的零下限改动了 300 条参考中的 27 条。
正文 · AI 翻译
摘要：基于策略的决策基准评估系统是否将书面规则应用于财务和运营案例。然而，当基准错误陈述了所需决策时，遵循规则的响应可能会被标记为错误。我们通过来源追踪、程序执行和受控检查审计了九个公开的基于策略的决策基准。我们发现不受支持的目标、在重放后仍然存在或作为已解决步骤传播的参考错误，以及拒绝可接受答案或认可不完整决策的评估器。为了衡量评分影响，我们对未更改的模型响应重新评分。在 96 个 LegalBench SARA 数值案例上，修正评分器使三个模型各自的接受率提高了 80 个百分点以上，而无需更改参考或响应。在 RuleArena Tax 中，恢复所需的零下限改变了 300 个参考中的 27 个，并缩小了观察到的模型差距。一个具有明确所有权和资格假设的受控联邦豁免任务也表明，所提供的中间答案中的错误可能影响最终决策。我们提出了 BAR（基准审计与修订），这是一个版本化的审计证据和修订集合，用于重新评估。
| 评论： | 28 页。代码和修订数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2611.07042 [cs.CL] |
| （或 arXiv:2611.07042v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07042 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yanru Xiao [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 19:04:55 UTC（136 KB）
来源：arXiv cs.CL · arxiv.org