Rohan Paul (@rohanpaul_ai) · 2026/10/20 01:04:38
Salesforce 研究揭示多智能体协作缺乏交叉验证机制
出处作者 / 发布主体:Rohan Paul (@rohanpaul_ai)原标题:New Salesforce paper finds that agents acting for different parties never verify each other's claims...
78AI 研判分
核心综述
Salesforce 最新论文指出,代表不同利益方的 AI 智能体在协作时默认不验证对方声明,导致团队继承最弱环节的错误。研究通过 2500 多次跨沙箱会话测试,识别出 20 种失败模式,并强调需在协议层强制加入独立验证与按服务方评分机制。
报道全文原始报道全文
Rohan Paul (@rohanpaul_ai) · 2026-10-19 17
Salesforce 最新论文发现,代表不同利益方的智能体(Agent)在未经提示的情况下从不相互验证对方的声明,导致团队继承了其中表现最弱智能体的错误。
如今,智能体越来越多地与其他代表个人或公司的智能体进行协调,每个智能体都拥有私有的文件、工具和目标。现有的失败研究通常假设只有一个编排器(Orchestrator)或共享的工作空间。
研究人员使用 Claude Code、Codex 和 Cursor 在独立的沙箱中运行了超过 2,500 次智能体对智能体(agent-to-agent)的会话,涵盖 488 种场景。他们从执行轨迹中梳理出了 20 种失败模式。
结果显示,没有任何智能体会重新获取文档以测试同伴的事实性声明,且智能体主要在提示词明确要求时才联系同伴。在一起服务级别纠纷中,一笔 24,000 美元的和解方案通过了全部 10 项结果检查,但供应商端的智能体却泄露了机密细节。
如果你的智能体需要与外部智能体通信,请在协议中内置检查机制,并根据每个智能体所服务的利益方对其进行评分,而不是仅看团队的整体结果。
