研究团队提出命令行智能体质量效率基准AgentMeter

研究团队提出 AgentMeter 质量-效率基准及 AgentMeter Score（AMS）指标，用于评估语言模型与命令行智能体（LM-CLI）组合的实际部署表现。AMS 同时衡量任务质量、预算敏感性和零奖励执行（即消耗资源却未完成任务）。 配套的 AgentMeter-Opt 通过轨迹驱动的任务保持描述变体构建更公平的评测集。实验显示，没有哪个命令行智能体在所有语言模型上普遍最优；任务成功率、执行成本与 AMS 指向不同的竞争配置。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。