arXiv cs.AI· Mingxuan Li, Huanzhi Mao, Qiuyang Mang, Hanchen Li, Joseph E. Gonzalez, Alex Dimakis·· 11 小时前AI 评分55
EnvOpt:面向智能体环境的自动化优化方法
EnvOpt: Automated Optimization for Agent Environments
AI 导读
论文提出 EnvOpt,在参数微调和 harness 优化之外,对智能体所处的静态环境做端到端自动优化,无需评分器或参考答案。在 AutomationBench 上,EnvOpt 让 Claude Haiku 4.5 的成本降低 72.7%、通过率提升 14.34%,同一环境迁移到 Opus 5 后成本降低 68.1%、通过率提升 1.34%。
正文 · AI 翻译
摘要:LLM 智能体的成本和成功率取决于其模型、其运行框架及其环境。除了被广泛研究的参数调优和运行框架优化方向之外,我们提出了第三个方向:对静态环境进行优化。智能体通常部署在由许多任务共享的丰富环境中,例如公司的 Slack 工作区或复杂的数据源、文档或工单集合。我们将这些环境称为静态环境。我们提出了 EnvOpt,一种针对任意给定模型和运行框架对静态环境进行自动化端到端优化的方法,使用真实或合成任务,无需任何评分器或参考答案。在 AutomationBench 上,EnvOpt 将 Claude Haiku 4.5 的成本降低了 72.7%,并将其通过率提高了 14.34%。同一环境可迁移至 Opus 5,使其成本降低 68.1%,性能提升 1.34%。在 Meta-Harness 为 Haiku 4.5 优化的运行框架之上叠加使用,可进一步将成本降低 83.4%,并在仅使用 Meta-Harness 的基础上增加 11.17% 的准确率。在 5 个基准测试中,EnvOpt 显著降低了智能体的成本,同时提高或保持了通过率,并且可迁移至不同的模型和不同的运行框架。我们还讨论了自动化优化过程中常见的成功和被拒绝的环境优化策略。更广泛地说,我们的结果表明,信息向智能体呈现的方式同时影响其成本和成功率,这使得环境与参数和运行框架一样值得优化。
| 学科: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.07372 [cs.AI] |
| (或 arXiv:2611.07372v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.07372 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Mingxuan Li [查看邮箱]
[v1]
2026年11月5日星期四 03:16:52 UTC(754 KB)
来源:arXiv cs.AI · arxiv.org