arXiv cs.AI· Neha Prakriya, Chaojun Hou, Zheng Gong, Huasha Zhao, Yanyuan Qin, Chris Cai, Xi Zhao, Zhenyu Gu, Emad Barsoum·· 10 小时前AI 评分58
Arbor:搜索策略如何塑造系统优化中的智能体行为
Arbor: How Search Policy Shapes Agent Behavior in System Optimization
AI 导读
Arbor 让自主智能体在一棵显式优化树上推理、回溯并积累经验,在六个生产推理模型上跨两代 GPU 取得 +40% 至 +193% 提升,LLM 训练提升 +42.8%,推荐训练提升 +41%。
正文 · AI 翻译
摘要:在现代加速器上实现峰值性能,需要在核函数、算子融合、KV 缓存管理、量化、调度和通信重叠等方面进行协同优化,这一过程对每个模型和硬件平台都需要专家投入数周的努力。我们提出 Arbor,一个为自主智能体提供显式优化树的系统,使其能够在其上进行推理、回溯并通过经验加深理解,系统具备可插拔的搜索策略、带评分的 bandit 遍历、并行智能体集群和深度优先扫描,并共享一个包含容器化隔离、自动回滚和端到端验证的通用框架。Arbor 可跨领域泛化:在两个 GPU 世代的六个生产推理模型上提升 +40% 至 +193%,在 LLM 训练上提升 +42.8%,在推荐训练上提升 +41%,其中智能体自主编写了跨越数千行代码的核函数级和框架级优化。在受控消融实验中,每个搜索策略都获得相同的智能体、树和工具,我们发现搜索结构同时影响优化的幅度和性质。bandit 通过有针对性的框架修复实现 +30.1%,sweep 通过深度核函数重写实现 +26.4%,swarm 通过复合独立变更实现 +33.4%。一个由智能体驱动的循环获得相同的框架、工具和信息,但自行选择目标,达到 +14%,每提升一个百分点所编写的代码量是 Arbor 结构化搜索策略的 4 倍。我们还引入了一个面向自主循环式智能体的评估框架,涵盖效率、基础性、鲁棒性和深度,旨在刻画智能体在长期优化活动中的搜索行为。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2606.12563 [cs.AI] |
| (或 arXiv:2606.12563v2 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2606.12563 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Neha Prakriya [查看邮箱]
[v1]
2026年6月10日星期三 18:14:56 UTC(300 KB)
[v2]
2026年11月17日星期二 19:28:37 UTC(939 KB)
来源:arXiv cs.AI · arxiv.org