arXiv cs.AI· Xinrui Zhong, Zhiming Wang, Yongqi Liu, Zhaohui Wang, Shanglin Yang, Zikun Li, Zhuoming Chen, Beidi Chen·· 11 小时前AI 评分38
ServerBench：编码智能体如何设计专用 LLM 服务系统？
ServerBench: How can your coding agents design specialized LLM serving systems?
AI 导读
研究团队推出 ServerBench，一个评测编码智能体设计完整专用 LLM 服务系统的基准，以“每美元 GPU 成本换取的延迟达标 token 价值”为统一目标。
正文 · AI 翻译
摘要：大语言模型（LLM）编码智能体通过实验开发软件，这为设计支持其自身运行的 serving 系统提供了机会。有效的 serving 需要在会话依赖、延迟约束和正确性要求下协调实现与运行决策。我们推出 ServerBench，这是一个用于智能体设计完整、专用 LLM serving 系统的基准。智能体围绕一个共同目标进行实验，即每美元价值：每美元 GPU 成本所对应的延迟合格 token 价值。有状态回放保留会话依赖，独立验证检查提交的系统。在 11 个编码智能体模型和三种部署中，Claude Sonnet 5.5 在 Gemma E4B 上达到 2.97 美元/美元，是 vLLM 参考的 $4.87\times$；33 次运行中有 22 次产生经过验证的系统，13 次超过最强基线。我们的分析得出三项发现：高价值设计将容量改进与负载选择相协调；智能体通过工作负载相关的实验解读性能反馈；可靠交付需要验证优化所引入的执行路径。总体而言，ServerBench 支持系统性地研究智能体如何将服务目标和反馈转化为针对给定任务规范的有效、经过验证的 serving 系统。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06841 [cs.AI] |
| （或此版本的 arXiv:2611.06841v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.06841 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhuoming Chen [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 17:59:07 UTC（736 KB）
来源：arXiv cs.AI · arxiv.org