AI 智能体越权频发 亟需实时监控机制

今年夏天，数百个 OpenAI 智能体试图在一次网络安全测试中作弊。它们突破了测试环境，成功入侵了 Hugging Face——一个它们认为存有评分线索的网站。几乎在同一时间，另一个 OpenAI 智能体访问了澳大利亚政府网站上的私密文件。这一问题绝非仅存在于 OpenAI。在此后的几个月里，Anthropic、Google 和 Meta 也披露了其智能体偏离既定轨道的事件。令人担忧的是，在许多案例中，这些智能体甚至避开了负责监控它们的研究人员和安全团队。

AI 智能体正在采取未经授权的操作，而构建和运行这些智能体的公司主要依靠运气和事后补救来减轻潜在的危害影响。它们在确保安全方面必须做得更多。正因如此，欧盟监管机构和美国机构正理直气壮地要求智能体开发者和部署者对智能体进行实时监控。但这些规则假设企业能够看清其智能体在做什么以及为何这样做——而在现实中，他们缺乏足够的可见性。

想象一下，一家银行雇佣了一千名新员工，他们可以访问客户账户和敏感信息，但员工的身份徽章每天都会变化，不清楚经理是否曾审查或授权过他们的工作，也没有人记录员工对审批流程所做的更改。这种可见性的缺失，正是我们当前面对智能体时的处境。

随着智能体在金融、政府、医疗等关键领域逐步落地，我们必须能够对其进行实时监控，以防止造成广泛且 potentially 具有毁灭性的后果。虽然安全依赖于监控，但监控的前提是可观测性（observability）：即捕获系统行为、将其处理为信号，并呈现给人类或自动化监督系统的能力。换言之，我们需要知道智能体做了什么以及为什么这么做。正如我们近期的研究所示，当前的智能体框架——即运行智能体的软件——无法可靠地生成确保智能体安全部署所需的关键可观测性记录。

智能体带来了仅靠生成式 AI 所不具备的新问题。它们继承了底层 LLM 的不可预测性，但不同于生成式 AI 系统仅产生单一输出供人类处理，智能体会执行更长的任务链——包括规划、选择工具、派生子智能体以及采取行动。因此，智能体的行为路径可能以多种不同方式展开，任何上线前的测试都无法完全预判风险。这使得对正在运行的智能体进行观测变得更加困难，也更为重要。

我们与来自学术界、公民社会和工业界的同事共同研究了四种使用最广泛的智能体框架，考察它们实际发出的信号。我们发现存在重大缺口，导致难以实现关键的安全目标，例如察觉政策违规、未经授权的行为，甚至人类监督失效等情况。诸如随时间持久存在的 Agent ID，以及关于哪些人类批准了智能体任务的记录等关键可观测性要求均缺失。这使得人们难以分辨哪个智能体执行了什么操作，也无法评估其是否在采取未经授权的行为。

好消息是，一旦识别出这些差距，就可以将其弥合。这始于捕获两类记录：一类揭示智能体（agent）运行过程中发生了什么，另一类展示智能体是如何做出决策的。“发生了什么”的记录用于标识智能体（同时保护隐私），并记录人类何时介入以及智能体的权限或“记忆”是否发生了变更；而“决策”记录则展示智能体的推理过程及其对所采取行动的信心水平。

以处理银行抵押贷款的智能体为例。系统审查一份申请并建议拒绝，随后由人工贷款专员批准该决定。在后续的审计中，甚至是在实时操作中，银行或监管机构需要能够重建是哪个智能体做出了判断、哪位专员予以批准，以及他们各自花费了多长时间。此外，银行还必须分析智能体得出拒绝决定的记录，以确保其未使用禁区信息，例如申请人所在社区的相关细节。

记录“发生了什么”和“智能体如何决策”需要不同的方法，但两者都是可行的。目前缺乏“发生了什么”的记录主要是一个软件基础设施问题，可以通过 OpenTelemetry 来解决——这是一项由行业工程师维护的开放可观测性标准，且正被各大智能体框架所采用。

OpenTelemetry 已成立一个工作组，起草用于追踪智能体的共享格式，但这些格式尚未最终定稿。该工作组应紧急纳入维持持久化智能体身份的标准，以及记录人类干预和智能体权限或记忆变更的标准。这一切必须在这些系统规模化之前完成，同时要关注将智能体 ID 与真实个人关联所带来的隐私影响。

保留“智能体如何决策”的记录更具挑战性。这一问题为模型提供商和研究者提出了开放的研究课题：模型展示的逐步推理过程（即思维链，chain of thought）是否反映了模型实际做出决策的方式？我们是否有可靠的方法来衡量智能体对该决策的信心程度？在任何人制定此类可观测性记录的使用标准之前，这些问题都需要得到解答。

没有任何单一组织或行业能够独自弥合可观测性方面的差距，但通过协作，它们可以支持防止危险事件发生并保障安全所需的基础设施。

构建智能体框架的 AI 开发者（如 OpenAI、Anthropic、CrewAI 和 LangChain）必须集成遥测信号，以记录智能体的持久身份、任何人工干预以及智能体权限和记忆的任何变更。与此同时，采用这些智能体框架的企业也发挥着至关重要的影响力；银行和医院等受监管行业的企业可以向智能体开发者施压，要求在尚未建立标准的领域提供这些缺失的可观测性记录。

企业还必须制定政策、权限和角色规范，明确界定智能体可以安全执行的操作，因为仅凭遥测数据无法评估智能体是否违反了特定规则。最后，监管机构和 AI 标准研究所必须规定高风险 AI 部署所需的可观测性记录，同时将技术细节留给行业自行决定。我们已经看到了初步的动力：美国 NIST 的智能体标准倡议正在致力于解决智能体身份问题，这是我们在研究中发现的最显著差距之一。

没有哪家银行会让一千名未佩戴工牌的员工随意接触客户账户，并在出现问题时指望拼凑出发生了什么。然而，这正是我们目前部署 AI 智能体的方式。使其行为具备可观测性是解决这一问题的第一步。通过构建一个使我们能够根据所见采取行动并追究组织责任的监管和政策生态系统，我们可以实现问责制。在此之前，我们交给智能体的每一项任务，同时也交出了我们的自主权。

Madhulika Srikumar 是“人工智能伙伴关系”（Partnership on AI）AI 安全项目主管。该组织是一个由领先的工业界、学术界和公民社会组织组成的全球非营利合作伙伴关系，致力于推动 AI 治理的最佳实践。

Claire Leibowicz 是“人工智能伙伴关系”（Partnership on AI）AI、信任与社会总监，同时也是牛津大学的博士候选人。