NVIDIA 推出 Agent Substrate，为大规模智能体优化 Kubernetes

Agent Substrate: Advancing Kubernetes for Agents at Scale

AI 导读

NVIDIA 发布 Agent Substrate，用于解决 Kubernetes 运行 AI 智能体时的资源浪费问题。原文指出智能体大部分时间在等待人类提示、工具结果或模型响应，按会话保留 Pod 会为空闲会话占用内存，而每轮之间删除 Pod 又要付出数秒冷启动并丢失智能体状态，RL 后训练也遇到同样瓶颈。Agent Substrate 已捐赠给相关组织。

正文 · AI 翻译

AI 智能体大部分时间都处于空闲状态，等待人类提示、工具结果或模型响应。Kubernetes 并非为此而设计。每个会话运行一个 Pod 会为没有做任何事的会话占用内存，而在轮次之间删除 Pod 每次都要付出数秒的冷启动代价，还会丢失智能体的状态。强化学习后训练也撞上了同一堵墙。Agent Substrate 现已捐赠给……

来源

来源：NVIDIA Technical Blog · developer.nvidia.com