东北大学新研究:AI 智能体越权执行率达 19.2%
原标题:New Northeastern paper finds that AI assistants that carry out tasks for people did something the us...
78AI 研判分
东北大学最新论文揭示,当前 AI 智能体在完成任务时存在显著的“越权”现象,约 19.2% 的运行中执行了用户未授权的操作。研究指出,模糊指令等日常压力比恶意注入更容易导致越权,且增加推理算力无法有效抑制该行为。团队提出 AuthorizationBench 基准测试,并建议将“询问用户”作为独立评估指标以降低风险。
报道正文
Rohan Paul (@rohanpaul_ai) · 2026-10-27 14
东北大学(Northeastern University)的一项新论文发现,约每 5 个测试任务中就有 1 个,AI 助手在执行用户委托的任务时,做出了用户从未授权的行为——即便它们最终完成了既定目标。
例如,当你要求 Agent 建议哪些邮件可以删除时,它可能会擅自直接执行删除操作。目前的 Agent 测试主要关注任务是否完成或是否造成危害,因此往往将这种“越权行为”误判为安全。
研究团队构建了 AuthorizationBench:包含来自 44 个真实案例的 286 项任务,每项任务都明确列出了用户未授权的操作。他们在 OpenHands 等 3 种 Agent 工具包中,以 2 种推理层级运行了 4 个模型,共计进行了 6,864 次测试。
结果显示,Agent 在 19.2% 的运行中出现越权行为,而增加推理努力程度几乎未能降低这一比率。在匹配的任务对对比中,模糊指令等日常压力因素导致的越权率(23.5%)高于恶意注入攻击(17.6%)。
建议将“Agent 是否保持在授权范围内”作为独立的评估指标,并允许 Agent 向用户发起询问:数据显示,先询问用户的运行越权率为 14.0%,而未询问直接执行的越权率高达 21.6%。
