英伟达将 OpenShell 捐赠给 CNCF 并扩展 AI 基础设施

作者:Warren Barkley原标题:NVIDIA Expands Open Source Commitment With OpenShell Donation and New AI Infrastructure
72AI 研判分

英伟达在 KubeCon 上宣布将智能体安全运行时 OpenShell 捐赠给 CNCF,成为沙箱项目,同时参与 Google 主导的 Agent Substrate 框架。此举将智能体治理与 Kubernetes 规模化调度推向开放治理,并展示了 Snapshot 将 vLLM 冷启动从数分钟降至数十秒的实测效果。

报道正文

本文目录3 个章节

Kubernetes 这一开源系统负责管理应用如何在成千上万个 AI 工厂中运行,如今已成为 AI 的基础,而对它的需求只会不断增长。

为了帮助满足这些需求,NVIDIA 在 KubeCon + CloudNativeCon 上深化了对开源的承诺,该大会是 Kubernetes 和云原生社区的旗舰会议。

NVIDIA 正在将 NVIDIA OpenShell 贡献给云原生计算基金会(CNCF)。OpenShell 是一个用于保护和治理自主智能体的开源运行时。CNCF 是一家非营利组织,隶属于 Linux 基金会,也是 KubeCon 的主办方。作为 CNCF 沙箱项目,OpenShell 将由将其构建到产品中的组织共同治理,并借助全球安全专业人士的专业知识得到强化。

NVIDIA 还正在为 Agent Substrate 做出贡献。这是一个由 Google 主导的开源框架,用于在 Kubernetes 上大规模运行长时间运行的智能体工作负载,该框架已被接纳进入 CNCF 沙箱。

此外,NVIDIA 还宣布了 NVIDIA DSX AI Factory 平台的新组件:NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot。这些工具可帮助团队在 Kubernetes 上为 AI 工厂部署、管理和扩展 GPU 基础设施。

这些进展共同标志着向前迈出了一步,使 Kubernetes 成为大规模 AI 工作负载的领先基础——赋能开发者构建更安全、更高效的未来 AI 基础设施。

在开放环境中保护 AI 智能体

NVIDIA 将 OpenShell 贡献给 CNCF,使自主智能体的安全基础设施交到社区手中,供其构建、审查和改进——从而加速开发并强化其防护措施。

“云原生社区面临着一项新的基础设施挑战:为智能体提供安全的运行环境,”Linux 基金会 CEO Jim Zemlin 表示。“NVIDIA 将 OpenShell 贡献给 CNCF,为开发者提供了一个共同的基础,也带来了塑造智能体安全演进方式的机会。将这项工作引入社区,能够在基础设施层面促成更广泛的协作,而这对于下一代云原生应用至关重要。”

OpenShell 让组织能够控制 AI 智能体可以做什么。它对智能体的活动施加确定性控制,使团队能够在智能体使用工具、访问推理服务和执行工作负载时强制执行策略。其可扩展架构让团队可以接入自己的计算资源、推理服务提供商、凭证存储和监控工具。这使组织能够在不同部署环境中实施治理,同时将 OpenShell 与现有企业系统集成。

已有数百家组织使用 OpenShell,该项目自发布以来不到一年就收到了数万次贡献。

在 Kubernetes 上扩展智能体执行

治理智能体只是挑战的一部分。组织还需要大规模部署它们。

NVIDIA 正在为 Agent Substrate 做出贡献——这是 CNCF 沙箱中一个源自 Google 的项目——并确保它与用于模型推理的 NVIDIA Dynamo 以及用于共享集群资源分配的 KAI Scheduler 协同工作。这项工作将智能体执行、推理服务和资源调度汇聚在 Kubernetes 上。

Agent Substrate 在任务之间保留智能体环境,同时在智能体空闲时释放计算资源。通过在共享的智能体池中挂起和恢复这些环境,它让团队能够扩展智能体工作负载,而无需为每个会话保持专用计算资源运行。

NVIDIA 和 Google 还在合作推进 OpenShell 与 Agent Substrate 的集成,使企业能够跨云和本地系统保护和治理智能体。

为 AI 工厂构建开放基础

AI 工厂需要为客户提供托管 Kubernetes 服务,同时保持对其基础设施、软件和客户体验的控制。三个新的开源项目扩展了 DSX AI Factory Platform,使 Kubernetes 更易于运行,推理扩展更快速。

NVIDIA DSX AI Factory 平台软件栈,从 GPU 基础设施和 Kubernetes 管理到工作负载编排和模型服务。

NVIDIA DSX AI Factory 平台软件栈,从 GPU 基础设施和 Kubernetes 管理到工作负载编排和模型服务。

NVIDIA Kubernetes Engine(NVKE)和 NVIDIA Kubernetes Recipes(NVKR)现已进入公开预览阶段,为在 GPU 基础设施上提供托管 Kubernetes 服务提供了开源构建模块。它们可自动化集群生命周期管理,并提供经过签名、版本固定的镜像。

NVKE 和 NVKR 发布之际即获得生态系统的支持,将其覆盖范围扩展至 AI 基础设施平台和云服务。Mirantis、Netris、OpenNebula Systems、Rafay、Spectro Cloud 和 vCluster,以及 Firmus 和 SK Telecom,已与 NVIDIA 就集成计划达成一致,将 NVKE 和 NVKR 的能力引入其产品中。

NVIDIA Snapshot 解决了快速上线额外推理容量这一难题。加载模型和预热工作负载可能会延迟扩缩容和恢复。这一开源、模块化的组件可在数秒内恢复已设置检查点的副本,无需重新加载模型或预热,从而为 Kubernetes 上的推理和智能体工作负载提供更快的启动、恢复和弹性能力。

设计合作伙伴 Crusoe 和 Saturn Cloud 已使用 NVIDIA HGX B300 系统在各自的工作负载上评估了 Snapshot。作为 Snapshot 的上游贡献者,Crusoe 在 Crusoe Cloud 上测试了 GLM-5.3,将工作负载就绪时间从大约八分钟缩短至 31 秒。令牌工厂平台 Saturn Cloud 对 Snapshot 进行了从零扩展推理的基准测试,将 vLLM 启动时间从 2 到 8.5 分钟缩短至 6 到 34 秒。

加入KubeCon 上的 NVIDIA了解更多。