arXiv cs.AI· Keisuke Kamahori, Shihang Li, Simon Peter, Baris Kasikci·· 3 天前AI 评分41
VibeServe：AI 智能体能否构建定制化 LLM 服务系统？
VibeServe: Can AI Agents Build Bespoke LLM Serving Systems?
AI 导读
VibeServe 是首个端到端生成完整 LLM 服务栈的智能体循环，通过外层循环规划系统设计搜索、内层循环实现候选方案并验证正确性与性能。在标准场景下，它在 Llama-3.1-8B 上追平 vLLM 和 SGLang，并在四块 AMD MI300A 上为 397B MoE 模型实现调优 SGLang 2.3 倍的 goodput。
正文 · AI 翻译
摘要：多年来，我们像构建其他关键基础设施一样构建 LLM 服务系统，用一套通用栈经过多位工程师数年的手工调优，来支持每一种模型和工作负载。在本文中，我们押注相反的方向，让编码智能体针对不同使用场景自动合成定制的服务系统。我们提出 VibeServe，这是首个端到端生成完整 LLM 服务栈的智能体循环。VibeServe 使用外层循环来规划和跟踪系统设计的搜索，使用内层循环来实现候选方案、检查正确性，并在目标基准上测量性能。在标准服务设置下，VibeServe 在 Llama-3.1-8B 上与 vLLM 和 SGLang 相当，并在四块 AMD MI300A 上为 397B MoE 模型带来经调优 SGLang 的 2.3 倍有效吞吐量。在五个非标准场景中，VibeServe 通过利用通用系统所错过的机会，在非标准模型架构、工作负载知识和硬件特定优化方面超越了现有系统。这些结果共同表明，基础设施软件应倾向于生成时特化，而非运行时通用性。代码见 this https URL。
| 主题： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2605.06068 [cs.AI] |
| （或 arXiv:2605.06068v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06068 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Keisuke Kamahori [查看邮箱]
[v1]
2026年5月7日星期四 11:54:53 UTC（738 KB）
[v2]
2026年10月12日星期一 08:54:58 UTC（970 KB）
来源：arXiv cs.AI · arxiv.org