跳到正文
NVIDIA Blog· Warren Barkley·· 2 天前精选AI 评分62

NVIDIA 将 OpenShell 贡献给 CNCF,并发布 DSX AI Factory 新组件

NVIDIA Expands Open Source Commitment With OpenShell Contribution and New AI Infrastructure

AI 导读

NVIDIA 在 KubeCon + CloudNativeCon 上宣布把用于智能体安全与治理的开源运行时 OpenShell 贡献给 CNCF,成为 Sandbox 项目,同时参与 Google 主导的 Agent Substrate 框架。

推荐理由

NVIDIA 把智能体安全运行时 OpenShell 捐给 CNCF,并给出 Kubernetes 上扩展智能体与加速推理的具体组件,可观察开源治理与部署路径的变化。

正文 · AI 翻译

Kubernetes 这一开源系统负责管理应用如何在数千个 AI 工厂中运行,如今已成为 AI 的基础,而对它的需求只会不断增长。

为帮助满足这些需求,NVIDIA 在 KubeCon + CloudNativeCon 上深化其对开源的承诺,该大会是 Kubernetes 和云原生社区的旗舰会议。

NVIDIA 正将 NVIDIA OpenShell 贡献给云原生计算基金会(CNCF),这是一个用于保护和治理自主智能体的开源运行时。CNCF 是 Linux 基金会旗下的非营利组织,也是 KubeCon 的主办方。作为 CNCF 沙箱项目,OpenShell 将由将其集成到产品中的组织共同治理,并借助全球安全专业人士的专业知识得到强化。

NVIDIA 还正在为 Agent Substrate 做出贡献,这是一个由 Google 主导的开源框架,用于在 Kubernetes 上大规模运行长时间运行的智能体工作负载,该框架已被 CNCF 沙箱接纳。

此外,NVIDIA 还宣布了 NVIDIA DSX AI Factory Platform 的新组件:NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot。这些工具帮助团队在 Kubernetes 上为 AI 工厂部署、管理和扩展 GPU 基础设施。

这些进展共同标志着 Kubernetes 朝着成为大规模 AI 工作负载领先基础迈出的一步——赋能开发者构建更安全、更高效的未来 AI 基础设施。

在开放环境中保护 AI 智能体

NVIDIA 将 OpenShell 贡献给 CNCF,使自主智能体的安全基础设施交到社区手中,供其构建、审查和改进——从而加速开发并强化其防护措施。 

“云原生社区面临一项新的基础设施挑战:为智能体提供安全的运行环境,”Linux 基金会 CEO Jim Zemlin 表示。“NVIDIA 将 OpenShell 贡献给 CNCF,为开发者提供了可共同构建的基础,也提供了塑造智能体安全演进方式的机会。将这项工作引入社区,能够围绕对下一代云原生应用至关重要的基础设施展开更广泛的协作。”

OpenShell 让组织能够控制 AI 智能体可以做什么。它对智能体活动施加确定性控制,使团队能够在智能体使用工具、访问推理服务和执行工作负载时强制执行策略。其可扩展架构让团队能够接入自己的计算资源、推理提供商、凭据存储和监控工具。这使组织能够在不同部署环境中实施治理,同时将 OpenShell 与其现有企业系统集成。

已有数百家组织使用 OpenShell,且该项目自发布以来不到一年内已收到数万项贡献。 

在 Kubernetes 上扩展智能体执行

管理智能体只是挑战的一部分。组织还需要大规模部署它们。

NVIDIA 正在为 Agent Substrate 贡献力量,这是一个源自 Google、现处于 CNCF 沙箱中的项目,并确保其与 NVIDIA Dynamo(用于模型推理)以及 KAI Scheduler(用于共享集群资源分配)协同工作。这项工作将智能体执行、推理服务和资源调度统一到 Kubernetes 上。

Agent Substrate 在任务之间保留智能体环境,同时在智能体空闲时释放计算资源。通过在共享的智能体池中挂起和恢复这些环境,它让团队能够扩展智能体工作负载,而无需为每个会话保持专用计算资源运行。 

NVIDIA 和 Google 还在合作推进 OpenShell 与 Agent Substrate 的集成,使企业能够跨云和本地系统保护和治理智能体。

为 AI 工厂构建开放基础

AI 工厂需要为客户提供托管 Kubernetes 服务,同时保持对其基础设施、软件和客户体验的控制。三个新的开源项目扩展了 DSX AI Factory Platform,使 Kubernetes 更易于运行,推理扩展更快速。

The NVIDIA DSX AI Factory Platform software stack, from GPU infrastructure and Kubernetes management to workload orchestration and model serving.
NVIDIA DSX AI Factory Platform 软件栈,涵盖从 GPU 基础设施和 Kubernetes 管理到工作负载编排和模型服务。

NVIDIA Kubernetes Engine(NVKE)和 NVIDIA Kubernetes Recipes(NVKR)——现已开放公开预览——为在 GPU 基础设施上提供托管 Kubernetes 服务提供了开源构建模块。它们自动化集群生命周期管理,并提供经过签名、版本固定的镜像。

NVKE 和 NVKR 发布时获得了生态系统的支持,将其覆盖范围扩展到 AI 基础设施平台和云服务。 Mirantis、Netris、OpenNebula Systems、Rafay、Spectro Cloud 和 vCluster,以及 Firmus 和 SK Telecom,已与 NVIDIA 就集成计划达成一致,将 NVKE 和 NVKR 的能力引入其产品中。

NVIDIA Snapshot 解决了快速上线额外推理容量这一难题。加载模型和预热工作负载可能会延迟扩展和恢复。这个开源、模块化的组件可在数秒内恢复检查点副本,无需重新加载模型或预热,从而支持 Kubernetes 上推理和智能体工作负载的更快启动、恢复和弹性伸缩。 

设计合作伙伴 Crusoe 和 Saturn Cloud 已使用 NVIDIA HGX B300 系统在各自的工作负载上评估了 Snapshot。 Crusoe 是 Snapshot 的上游贡献者,在 Crusoe Cloud 上测试了 GLM-5.3,将工作负载就绪时间从大约八分钟缩短至 31 秒。 Saturn Cloud 是一个 token 工厂平台,针对从零扩展推理对 Snapshot 进行了基准测试,将 vLLM 启动时间从 2 到 8.5 分钟缩短至 6 到 34 秒。

加入 KubeCon 上的 NVIDIA,了解更多。

来源:NVIDIA Blog · blogs.nvidia.com