Amazon 审计 9 个政策决策基准，发现答案与评分有误
热点事件持续更新
Amazon 审计 9 个政策决策基准，发现答案与评分有误
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Amazon 发布论文称，用于评测模型处理税务、法律和商业规则的 9 个公开基准中，参考答案或评分代码存在错误，会把正确答案判错。研究团队通过回溯规则原文、重跑参考程序、用受控答案测试评分器进行审计，并在修复后对同一批已保存的模型回答重新打分。 这意味着此前基于这些基准得出的模型评分可能失真，涉及税务、法律和商业规则等政策类决策评测。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 05:24
Amazon 论文审计 9 个政策决策基准，发现评分器和参考答案自身有错报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- RadarAIAmazon 论文审计 9 个政策决策基准，发现评分器和参考答案自身有错
Amazon 新论文发现，用于评测模型处理税务、法律和商业规则的基准常把正确答案判错，问题出在基准自身的参考答案或评分代码。研究团队审计了 9 个公开基准，通过回溯规则原文、重跑参考程序、用受控答案测试评分器，并在修复后对同一批已保存的模型回答重新打分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。