审计发现九个政策决策基准评分有误

Yanru Xiao 等作者审计九个公开政策决策基准，发现存在无依据的目标答案、重放后仍存活的参考错误，以及拒绝可接受答案或给不完整决策记分的评估器，并提出 BAR 修订方案。 在 LegalBench SARA 的 96 个数值案例上，仅修正评分器就让三个模型的接受率各提升超过 80 个百分点；在 RuleArena Tax 中恢复必需的零下限后，300 条参考中有 27 条被改动。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。