OpenAI 与 Anthropic 探讨金融智能体自主性：安全控制应赋能而非阻碍执行

OpenAI 的 Joseph Kim 今日在 AIE NY 大会上探讨了“阈值现象”。

本周 AI Engineer New York conference 的核心议题之一是 如何在 Agent 自主性与安全及合规之间取得平衡。无论是前沿模型实验室还是金融机构，本周的演讲都聚焦于这一问题。

主要启示在于：安全的自主性取决于 你将控制机制和人工判断置于何处，而非你施加了多少限制。

---

赞助商：使用 shop.dev 为你的 Agent 构建购物功能

为 Agent 添加电商功能通常意味着要从零开始重建搜索和结账流程。shop.dev 为你提供一个统一的 API，可在任何 Agent 或应用中实现购物功能。只需一次连接，即可访问超过十亿件商品及其实时价格和库存信息，支持通过 Shop 即时登录，并在对话中直接完成一键式 Shop Pay 结账。该平台面向所有开发者开放，试用无需注册账号或获取密钥。→ 立即试用 shop.dev

---

Joseph Kim，OpenAI ChatGPT 金融服务业务负责人，今日在 AIE New York 发表了主题演讲。（我们还与 Kim 录制了一期特别播客，即将发布。）他谈到了可靠性以及 “有用性阈值”，将其定义为 “模型变得足够强大且可靠，从而能为你节省时间的那个临界点。”

Kim 认为，不断增长的模型能力很快将帮助金融分析师跨越这一阈值，使他们能够将更多工作委托给 Agent。

他对 AI 在金融领域的角色做出了具体预测，展望至 2027 年。他声称，不仅金融行业明年将减少对 Excel 和 PowerPoint 的依赖，智能体（agents）还将具备足够的能力来执行“投资创意生成与交易”。

模型能力“水涨船高”的趋势也带来了更好的可追溯性。

Kim 表示：“在金融领域，你需要能够核查数字的来源并理解其背后的上下文。我们希望这种审查成为 [面向金融服务的 ChatGPT] 体验的自然组成部分。正是这些产品细节帮助将模型的能力转化为人们可用的工作成果。”

Joseph Kim 在 AIE NY 大会上；摄影：Richard MacManus

至于何时需要人类介入（human-in-the-loop），Kim 将其视为一个产品设计决策。

“界面会如何变化？用户仍然需要控制、审查或批准哪些内容？这些都是你现在就可以开始着手解决的产品设计问题。”

在对冲基金中平衡 AI 安全与创新

对冲基金 Two Sigma 的高级副总裁兼架构师 John Feminella 正在应对 Kim 所提到的这类具体的产品设计问题。他在主题演讲中介绍了他们实施的五项控制措施，旨在约束智能体的行为，同时不限制模型的能力。

Feminella 认为，不应将安全与创新视为光谱的两端。他特别批评了 “审批疲劳” 现象——即一个人负责批准所有事项可能会阻碍创新，同时也可能引入风险，因为如果他们对必须做出的所有决策未能保持充分专注，就会出现问题。

在 Two Sigma，他们实施了一套控制机制，他将其定义为 “护栏与共享能力”，旨在让团队以不阻碍其目标达成的方式推进工作。

这些控制机制具有可组合性，这意味着“每个组件各司其职，协同工作时能让我们在适当的安全级别下运行具备真正自主性的智能体（agents）。”

其中一项控制措施是使用 自动模式分类器（auto-mode classifiers）。Feminella 表示，这些分类器“对常规调用做出决策，仅将最重要、最可能产生实质性影响的请求发送给人类处理。”

对于模糊场景可以使用分类器，而对于明确场景，确定性规则则更为适用。

Anthropic：为智能体提供上下文，并界定信任边界

Anthropic 的演讲概述了类似的框架，其核心目标是在金融领域的智能体工作流中构建“信任”。

上个月，Anthropic 发布了 Claude for Financial Advisors，允许财务顾问将其系统与 Claude 及一系列工作流技能对接。

在本周的 AIE 大会上，Anthropic 金融服务董事总经理 Belinda Neal 解释了 Anthropic 为何选择与金融机构合作推出这一新产品。

“每隔一段时间，模型就会跨越一个阈值。而当它发生时，工作方式便会迎来一波变革。”

Neal 的同事、在 Anthropic 从事应用 AI 工作的 Keon Shahab，随后谈到了“为智能体构建信任层”。他表示，这涉及三个步骤：

“明确智能体以何种身份行事，并建立身份与权限层。我们如何对智能体进行沙箱隔离并确定其审批层，确保在其行动前有人签字批准。最后，我们如何确保智能体在随时间调整变量后仍能正常工作。”

Shahab 通过一个交易中断调查智能体的案例，阐明了提议与执行之间的界限，该智能体会建议修改订单以供人工审批。

“我们希望它 [智能体] 仅针对我们的订单数据提出新的修改建议，而不是实际执行这些修改，”他说。

Shahab 总结道：“通过构建一次你信赖的基础层，你可以快速部署大量智能体以实现规模化。”

Bloomberg：在模型之外强制执行安全

作为 Bloomberg CTO 办公室架构与新兴技术负责人，Andrey Rybka 肩负着在公司内平衡自主性与规模化的责任。

Rybka 在今日的 AIE 演讲中，分享了一系列智能体造成混乱的真实案例——以及有助于防止此类情况的防御措施。这些措施包括限定范围的身份和凭证、工具调用控制、出站流量限制、审计日志、预算管控以及紧急停止开关（kill switches）。

在一个案例中，一个智能体将嵌入在市场评论中的指令误认为是备货指令。Rybka 建议采取输入验证、提示词注入防御、来源追踪以及对高价值操作的人工审批等措施。

“我们需要模型之外的确定性控制机制，”Rybka 说道。“检查每一次调用，记录日志，并保留一个紧急停止开关。”

快速运行，安全停止

尽管 OpenAI 和 Anthropic 等前沿实验室正在为金融智能体构建‘信任框架’，但归根结底，由金融机构为其智能体设置控制措施才是关键。Two Sigma 的 John Feminella 一针见血地指出：实施那些能够促成自主性运行的控制措施，但不要设置障碍。

正如他在结论中所说：“汽车为什么要有刹车？不仅仅是为了让你停下来，更是为了让你能开得更快，并且停得更安全。”