跳到正文
arXiv cs.CY· Benjamin Jensen, Ian Reynolds, Yasir Atalan, Martin Pollack, Austin Woo, Anna McConkie, Robert Sincero·· 9 小时前AI 评分58

NDM Bench:评估前沿 LLM 在核决策场景中的倾向

The Nuclear Decision-Making Benchmark: Evaluating Frontier LLM Tendencies in Escalation, Proliferation, Non-Proliferation, and Arms Control Scenarios

AI 导读

研究者提出 Nuclear Decision-Making Benchmark(NDM Bench),用 151 个由国际关系专家撰写的场景测试 LLM 在核政策问题上的回答倾向,覆盖核升级(76)、军控(25)、防扩散(25)与扩散(25)四个领域。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)正在进入国防与国家安全工作流程。九个核武国家中有七个已承诺将核武器使用决策的控制权保留在人类手中,但 LLM 仍可能影响呈递给决策者的评估与选项。要审视这种影响,需要关于这些模型在核政策问题上如何行为的证据。此类证据应涵盖的不只是危机升级,还应将模型的倾向与单一措辞、排序或运行所带来的伪影区分开来;迄今为止的评估并未聚焦于这些问题。我们提出核决策基准(NDM Bench),这是一个数据集与可复现框架,用于测试模型的选择和问题的设计如何塑造 LLM 在核政策上的回答。其 151 个情景由国际关系专家撰写,涵盖四个领域:核升级(76)、军备控制(25)、防扩散(25)和扩散(25)。每个情景都可以让不同国家担任决策者角色,并附加框定语句。八个前沿 LLM 对每个提示各回答五次,总计约 380{,}000 条回答。结果表明,模型的选择因模型和领域而异;在升级领域,它们选择核威胁或核使用的频率取决于所建议的国家,并且对某些模型而言还取决于框定方式。然而,相同运行之间的一致性往往很低,在升级提示中,五次运行全部一致的仅占 43\%。我们发布了这些情景、带有答案顺序的提示以及解析后的回答,并附上其构建方式的文档,以及在没有正确答案可供评分时进行评估的推荐做法。
评论: 46 页,7 幅图
主题: 计算机与社会(cs.CY)
引用为: arXiv:2608.05180 [cs.CY]
  (或 arXiv:2608.05180v2 [cs.CY] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.05180

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Martin Pollack [查看电子邮件]
[v1] 2026 年 6 月 29 日星期一 01:45:20 UTC(1,275 KB)
[v2] 2026 年 11 月 16 日星期一 22:15:18 UTC(272 KB)

来源:arXiv cs.CY · arxiv.org