arXiv cs.AI· Kaiyu Huang, Yiting Li, Angyang Gu, Pinjia He, Minchen Yu, Qingjiang Shi·· 3 天前AI 评分38
AM-Bench：跨模型与执行框架理解任务欠规范下的智能体表现
AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses
AI 导读
研究者发布 AM-Bench，基于 Terminal-Bench 2.0 和 Harness-Bench 改编的 48 个任务，每个任务含一个完整规范参考和六个变体，覆盖目标、上下文与约束的模糊或缺失。
正文 · AI 翻译
摘要：模糊或不完整的任务规范会使语言模型智能体的执行与澄清都变得复杂。然而，智能体对这些信息缺口的响应在不同模型和执行框架之间仍缺乏充分刻画。我们提出 AM-Bench，这是一个由 48 个任务构建的基准，任务改编自 Terminal-Bench 2.0 和 Harness-Bench。每个任务都包含一个完全指定的参考版本，以及六个变体，涵盖目标、上下文和约束的模糊或缺失。我们在 20,160 次运行中评估了五种模型与四种框架的每一种组合。结果揭示了不同的执行缺陷：目标缺口阻碍完成，上下文缺口增加 token 使用量，约束缺口削弱合规性，但不一定阻止完成。在全部三个领域中，缺失比模糊更降低成功率。这些效应也重塑了系统比较：在信息完整情况下的优势未必持续存在，排名取决于模型 $\times$ 框架组合以及评估标准——完成、成功或重复一致性。基于观察到的澄清请求和匹配的完全指定运行的估计进一步表明，澄清可以挽回未完成的工作，但大多数约束违规仍未解决。总之，这些发现促使在信息条件下进行模型-框架联合评估，并在依赖操作之前对未解决的需求进行有针对性的澄清。为支持未来关于任务欠规范下智能体的研究，我们提供 AM-Bench 项目仓库：this https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18090 [cs.AI] |
| （或 arXiv:2610.18090v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18090 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kaiyu Huang [查看电子邮件]
[v1]
2026年10月13日星期二 10:11:05 UTC（4,681 KB）
来源：arXiv cs.AI · arxiv.org