arXiv cs.CL· Rodney Lafuente-Mercado, Robert Sincero, Phil Sage, Yuan Xue·· 3 天前AI 评分29
MA-Bench：衡量语言模型的任务规划能力
MA-Bench: Measuring Operational Planning in Language Models
AI 导读
研究者推出 MA-Bench，基于军事作战规划第一步"任务分析"构建，包含 10 个专家场景、10 至 12 份文档和 1,257 条专家编写的通过/失败要求。在二十个前沿与开放权重模型中，最佳模型仅答对 62% 的评分项，文档中明述事实正确率 58%，需推断的判断仅 33%，六成失败属于遗漏而非错误。
正文 · AI 翻译
摘要：当不存在唯一正确答案时，语言模型能将大量不完整且部分相互矛盾的文档转化为一份计划的能力有多强？我们提出了 Mission Analysis (MA)-Bench，它建立在任务分析之上，任务分析是军事作战规划的第一步，在这一步中，参谋人员会通读全部情况并在任何人提出解决方案之前陈述问题。其 10 个由专家构建的场景将十到十二份文档的合成资料包与 1,257 条由专家编写的通过/未通过要求配对，每条要求都包含关于其来源、问题类型和重要性级别的信息。一个推理模型评判员在看不到文档的情况下，依据这些要求对每份简报进行评分；它像第五位具备资质的规划者一样评分，使四人规划者小组的一致性保持不变（Fleiss $\kappa$ 0.42 至 0.41），而来自另一家提供商的评判员复现了模型排名（Spearman 0.94）。在二十个前沿和开放权重模型中，表现最好的模型答对了 62% 的评分项。模型在文档中陈述的事实上表现最强（58%），在必须推断的判断上表现最弱（33%），并且十分之六的失败是遗漏而非错误。MA-Bench 评分的是判断结论，而非行文。我们发布了资料包、评分标准、提示词、评分器以及每一份带逐项裁决的已评分简报。
| Comments: | 32 页。数据集：this https URL |
| Subjects: | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| Cite as: | arXiv:2610.19138 [cs.LG] |
| （或 arXiv:2610.19138v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19138 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Rodney Lafuente-Mercado [查看电子邮件]
[v1]
2026年10月13日星期二 20:07:50 UTC（325 KB）
来源：arXiv cs.CL · arxiv.org