arXiv cs.AI· Shiyi Cao, Ziming Mao, Dacheng Li, Joseph E. Gonzalez, Ion Stoica·· 12 小时前AI 评分58
Evolving Agent Teams:多智能体框架跳出局部最优,CUDA kernel 较 FlashInfer 平均提速 1.2 倍
Evolving Agent Teams
AI 导读
Evolving Agent Teams 是一个多智能体框架,通过中央 supervisor 诊断局部最优并重组智能体团队,配合持久化文件系统记录学习文档、演化历史和团队产物,以摆脱编码智能体在真实专家手写 kernel 上的局部最优。
正文 · AI 翻译
摘要:软件工程智能体的快速进展,激发了将其应用于 GPU 内核优化等开放式问题的兴趣。然而,我们发现现有编码智能体在真实世界中由专家编写的内核(例如 FlashInfer)上会收敛到局部最优。我们提出 Evolving Agent Teams,一个能够摆脱此类局部最优的多智能体框架。它具有:(1) 一个中央监督者,负责诊断每个局部最优并重构智能体团队;(2) 一个持久化文件系统,包含学习文档、演化历史和每个团队的产物,以积累的经验为重构提供依据。在匹配的 token 预算下,Evolving Agent Teams 始终优于强大的编码智能体基线。在扩展的 token 预算下,Evolving Agent Teams 从零开始生成的 CUDA 内核,相对于生产环境的 FlashInfer MLA 分页解码内核达到 1.2 倍的平均加速,并在 FlashInfer-Bench 的 47 个生产工作负载中赢得 36 个(其余 11 个为 0.86-0.99 倍)。它还在以下任务上展现出更优性能:AMD MI350X 上的 KDA 预填充(相对 vLLM 为 3.01 倍)和 NVIDIA B200 上的 KDA 预填充(相对 FlashKDA 为 3.44 倍)、Apple 芯片上的 MoE 专家卸载服务(在 48 GB M4 Pro 上以 MLX 4 位运行 Qwen3.8-Flash-Next,解码速度为 30.3 tokens/s),以及 RoboDojo 机器人操作(在留出种子上为 62.1,而排行榜最佳条目为 55.3)。代码可在 此 https URL 获取。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.36848 [cs.AI] |
| (或本版本的 arXiv:2610.36848v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2610.36848 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Shiyi Cao [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 08:46:21 UTC(199 KB)
来源:arXiv cs.AI · arxiv.org