arXiv cs.AI· Han Chi, Jiaxin Qi, Yan Cui, Baisheng Lai, Jianqiang Huang·· 14 小时前AI 评分31
AgentMeter：面向命令行智能体的公平质量-效率基准
Matching Matters: A Fair Quality-Efficiency Benchmark for Command-Line Agents
AI 导读
研究团队提出 AgentMeter 质量-效率基准及 AgentMeter Score（AMS）指标，联合刻画任务质量、预算敏感性和零奖励执行，用于评估 LM-CLI 组合的实际部署表现。配套的 AgentMeter-Opt 通过轨迹驱动的任务保持描述变体构建更公平的评测集。实验显示没有 CLI 在所有语言模型上普遍最优，任务成功率、执行成本与 AMS 指向不同的竞争配置。
正文 · AI 翻译
摘要：大语言模型的快速进展提升了基于命令行界面（CLI）的智能体解决任务的能力，其 CLI 决定了模型如何调用工具、维护交互历史以及从失败中恢复。因此，CLI 与 LLM 之间的有效匹配变得至关重要。然而，现有智能体基准大多强调成功率，而忽视了成本与效率等实际目标，以及 LM-CLI 组合的选择，而这些在真实部署中都至关重要。为此，我们提出 AgentMeter，一个质量-效率基准，并引入新指标 AgentMeter Score（AMS），该指标联合刻画任务质量、预算敏感性和资源密集型的零奖励执行，从而能够对已部署的 LM-CLI 组合进行更完整的评估。此外，收集到的任务描述可能无意中偏向于与其措辞和结构特别契合的 LM-CLI 组合，导致评估结果反映的是描述特定的优势，而非通用的任务解决能力。因此，我们提出 AgentMeter-Opt，一个基于轨迹的优化框架，它构建适配组合且保持任务不变的描述变体，从而在 LM-CLI 组合之间建立更公平的评估集。大量实验表明，没有哪种 CLI 在所有语言模型上普遍最优，并且任务成功、执行成本和 AMS 识别出不同的竞争性配置。AgentMeter-Opt 上的结果进一步揭示，保持任务不变的描述变化对 LM-CLI 组合的影响并不均衡，并且可能在有效的描述条件下改变它们的相对排序。总之，AgentMeter 和 AgentMeter-Opt 为命令行智能体的公平且与部署相关的评估提供了实用基础。
| 评论： | 13 页，4 幅图，12 张表；包含补充材料 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.21140 [cs.SE] |
| （或 arXiv:2606.21140v3 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.21140 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Han Chi [查看邮箱]
[v1]
2026 年 6 月 19 日星期五 06:26:32 UTC（60 KB）
[v2]
2026 年 8 月 6 日星期四 08:32:42 UTC（442 KB）
[v3]
2026 年 10 月 26 日星期一 08:48:24 UTC（442 KB）
来源：arXiv cs.AI · arxiv.org