arXiv cs.CY· Daniel S. Epstein·· 11 小时前AI 评分34
借鉴传统兵棋裁决方法改进 AI 评判与评分
Thumb on the scale: Using traditional wargaming adjudication practices to improve AI-judged evaluations and grading
AI 导读
研究将 11 项兵棋推演实践映射到 AI 评估失效场景，并在 9 局 AI 裁判推演、378 个玩家行动上测试裁决方法：同一骰点下，Opus 5 与 Gemini 3.1 Pro 在 Semi-Rigid 模式下重跑会改变 3% 至 6% 的结果，Free 模式下为 14% 至 16%。
正文 · AI 翻译
摘要：开放式 AI 工作没有唯一正确答案可供核对，因此由评判者（通常是另一个 AI）来判定每个结果。关于这些评判者的研究关注用哪个 AI、如何撰写评分标准，却很少检验评判者所遵循的流程。兵棋推演同样没有正确答案，而两百年来该领域一直在设计这一流程：规定裁判拥有多少自由度的具名方法、已知的失效情形及其修正方案。我们将十一种兵棋推演实践映射到 AI 评估的失效情形上。我们在一场由 AI 裁判主持的推演中，用九局游戏里的 378 个玩家行动检验了其中一种实践——裁决方法。玩家声明其胜算，裁决者将其转换为目标数，再由一枚 20 面骰决定成败。在骰值固定的情况下，目标数分别来自规则书（刚性）、由评判 AI 调整（半刚性）、由评判 AI 单独设定（自由），或由四个评判 AI 组成的评审团。用评估术语来说，这些分别是固定评分规则、评判者可调整的评分标准、整体评分和陪审团。评判 AI 为 Opus 5 和 Gemini 3.1 Pro，各自重复运行。当同一骰值下的行动在一种裁决下通过、在另一种裁决下失败时，结果就发生了改变。重复运行时，评判者在半刚性下改变了 3% 至 6% 的结果，在自由模式下改变了 14% 至 16%。将 Opus 换成 Gemini 带来的变化比重复运行多约 3 个百分点，九局游戏无法确认这一差距。评审团改变了规则书 378 个结果中的 40 个，但这些改变相互抵消，通过数仅变动 8。通过率会掩盖这些变化。一项已发表的研究结论建立在 15 次裁决之上，而我们的大多数 AI 裁决者以及每一次重复运行都改变了该结论出现的频率。我们衡量的是裁决变动幅度，而非哪种裁决正确。方法决定了评判者与自身意见相左的频率。应在选择评判 AI 之前先选定方法，报告评判者与自身意见相左的频率，并统计每个结论背后的裁决次数。我们提出一份裁决声明。
| 评论： | 35 页，2 幅图。预印本，版本 1。未经同行评审 |
| 主题： | 计算机与社会（cs.CY） |
| ACM 分类： | I.2.0 |
| 引用为： | arXiv:2610.32066 [cs.CY] |
| （或 arXiv:2610.32066v1 [cs.CY] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.32066 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Daniel Epstein [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 02:11:01 UTC（780 KB）
来源：arXiv cs.CY · arxiv.org