Inferact 谈 vLLM 跑智能体负载的缓存要点

Rohan Paul· @rohanpaul_ai · X·2026-10-14 00:18· 42 分钟前AI 评分37

AI 导读

Inferact 的 Yifan Qiao 将在 DigitalOcean Open Intelligence Summit 的 Serve 分轨演讲，主题是在智能体生产负载上运行 vLLM。

正文

对推理服务器来说，智能体流量是一种奇特的工作负载。

每一轮都会重新发送一段很长、几乎完全相同的前缀（系统提示词、工具 schema、历史记录），并要求返回一个简短的 tool call。

在 DigitalOcean 的 Open Intelligence Summit 上，Inferact 的 Yifan Qiao 将带来一场 Serve 分轨演讲，主题是在智能体生产负载上运行 vLLM。

正是这种流量形态，使得前缀缓存和 KV-cache 复用对智能体而言比原始 tokens per second 更重要。长前缀上的缓存未命中意味着在一个长任务的每一轮都要为完整的 prefill 再次付出代价。

引用DigitalOcean@digitalocean

谁将塑造 AI 的未来？今天，我们汇聚了开放模型、数据和智能体领域一些最具分量的声音来回答这个问题，包括 @OpenHandsDev 的 @rbren_dev、@inferact 的 @zlxi02、@boltdotnew 的 @GerryFPatia、@Amplitude_HQ 的 @vinaygo 以及 @arcee_ai 的 @latkins。 Open Intelligence Summit，与 @nvidia 联合主办。观看直播，太平洋时间下午 1 点开始： Keynote: http://youtube.com/live/IhWSgZlVizQ Build: http://youtube.com/live/eN0TqmeBNhw Serve: http://youtube.com/live/fkT-MhcAm-4 Run: http://youtube.com/live/QMrY1xZ-xGg

在 X 查看被引用的帖子

来源：Rohan Paul · x.com