NVIDIA 提出 AI 安全工程化框架

作者:Saša Zdjelar原标题:AI Security Is an Engineering Problem — How to Solve It at Every Layer of the Agent Stack
42AI 研判分

NVIDIA 主张将 AI 智能体安全视为工程问题,强调需建立明确的安全需求、可执行的控制措施及验证机制。文章指出随着智能体具备推理和工具调用能力,传统安全原则需适配新的运行环境,并呼吁通过开放研究和共享工具加速防御能力建设。

报道正文

本文目录6 个章节

AI 安全是一个工程问题。这意味着需要明确的安全需求、可执行的管控措施、指定的责任人,以及证明防护机制有效的证据。

随着 AI 能力的增强,业界必须加速推进安全工程实践,扩大防御工具的获取渠道,并更快速地分享行之有效的经验。

技术在变,安全基石不变

互联网和云计算改变了软件的运行方式,但核心安全责任始终如一:确立身份、控制访问、限制暴露面,并验证防护措施是否有效。

AI 智能体引入了新功能——推理、使用工具,以及根据所遇数据调整行动。这些功能要求我们将既定原则应用于新的运行环境。

这种快速演进带来了压力。组织希望获得 AI 带来的生产力提升,而治理和保护这些系统的最佳实践仍在发展之中。

安全取决于完整的智能体技术栈

应用程序依赖于代码、数据、身份、服务和基础设施。安全性取决于这些组件如何协同工作——而 AI 智能体扩展了这一系统。

模型提供能力;框架(Harnesses)组织上下文、工具和工作流;运行时环境则提供执行动作所需的基础设施。该技术栈的每个部分都承担安全责任,当数据、指令和动作在系统中流转时,适当的保护需要在每一层实施相应的管控措施。

考虑一个更新客户记录的智能体。假设它在附件文档中遇到恶意指令,并试图将客户数据导出到未经授权的目的地。

网络策略应阻止该传输,受保护的日志应记录尝试的工具调用、授权决策及结果,以便安全团队识别所使用的工具和试图访问的目标地址。

更新客户记录的权限不应自动延伸至导出该数据的权限。智能体可以请求额外访问权限,但不能自行授予该权限。

将安全融入智能体的运行机制

安全边界必须在智能体做出错误决策时依然有效。智能体运行的环境决定了其被允许执行的操作,因此必须独立于智能体的推理逻辑,对文件、网络目标地址和进程施加限制。

指令和安全防护措施有助于引导行为,但安全性还需要可强制执行的边界。

每个智能体都需要一个可追溯的身份,以及仅限于其分配任务的凭证。组织需要制定明确的政策,规定智能体可以访问哪些信息、可以修改哪些系统,以及哪些操作需要审批。在这些边界之内,重大操作和权限变更仍需人工批准。

团队还需要验证智能体所使用的工具、技能和依赖项的来源及完整性。如果出现问题,受保护的记录(包括工具调用、授权决策和结果)将帮助调查人员重建事件经过。明确的撤销访问权限和遏制事件的流程能使这些证据发挥实际作用。

NVIDIA OpenShell. 是一个开源的安全运行时,它在智能体无法触及的范围之外强制执行策略,提供沙箱执行环境,并管控智能体如何访问数据、网络和系统资源。Open Secure AI Alliance 的合作伙伴正在基于 OpenShell 构建解决方案:Cisco 的 DefenseClaw 增加了一个治理层,而 JFrog 则与 OpenShell 集成,以扫描和验证智能体技能,并强制执行关于智能体可访问哪些技能的政策。

工程团队需要安全性的实证

在部署之前,团队需要证据证明适当的控制措施能够阻止获取超出智能体范围的凭证,或防止将敏感数据发送到未经授权的目的地。

测试还应涵盖试图更改权限或干扰监控的行为,并在模型、工具或工作流发生重大变更后重复进行。

指定负责人必须利用这些测试结果来判断系统是否已具备部署条件,并确保测试失败能够触发纠正措施。在测试或运行过程中发现的故障应被复现、调查并解决。随后,每一项发现都可以转化为可重复执行的测试用例,使团队能够在未来的版本中验证修复方案是否持续有效。

例如,CrowdStrike 的 SafeMind 通过反复进行攻击模拟来测试并强化防御能力;Palo Alto Networks 的 Prisma AIRS 则随着模型和应用的演变提供持续的红队演练支持。

防御者需要在正确的时间使用正确的工具

调查故障需要配备适合任务、数据和环境的强大工具。开源模型与闭源模型各自满足互补的需求。

闭源模型提供托管的功能和服务,而开源模型则赋予防御者检查相关组件、调整策略以及在自主控制的基础设施上工作的选项。

在发生安全事件时,这种控制权有助于团队在其自有系统中复现故障并测试修复方案,同时将敏感证据保留在内部环境中。

强大的 AI 可以通过协助发现漏洞、验证修复方案以及调查攻击来支持这项工作。其价值应通过可复现的发现、可验证的修复方案以及加速的响应时间来评估。

例如,Capital One 的 VulnHunter 用于 AI 驱动的代码安全防护,以及 ReversingLabs 的 Spectra Assure 用于对软件包进行 AI 驱动的分析,以检测恶意软件和篡改行为。

通过开放协作将优势转向防御者

分享故障证据、哪些控制措施生效以及如何验证修复方案,有助于其他团队加强自身系统的安全性。

NVIDIA 的安全研究和开放安全 AI 联盟(Open Secure AI Alliance)通过将研究成果、实用工具和专业知识引入更广泛的安全社区,支持这种交流。

AI 安全是一个工程问题。每一次智能体(Agent)部署都需要可执行的边界、明确的责任人,以及证明其防护措施有效的证据。开放研究和共享工具有助于更多防御者达到这一标准,并随着能力的提升不断完善它。

了解更多关于NVIDIA 的安全研究的信息,并加入开放安全 AI 联盟。