谷歌发布 Gemini 4 Argon 安全报告：聚焦网络防御优势与受限访问机制

了解我们在 Gemini 4 Argon 安全与保障方面的方法。

---

Anca Dragan

AI 安全与行为副总裁

Raluca Ada Popa

Google DeepMind Gemini 安全负责人

---

Gemini 4 Argon 标志着模型能力的一次飞跃——尤其是在处理跨领域复杂现实任务时的深度工作方面，涵盖编程、金融、法律、网络安全和科学等领域。其网络防御能力处于前沿水平，旨在为防御者提供相对于攻击者的优势。为了最大化其潜力，我们首先希望网络防御者通过我们的 Fairwind Program 将其投入实际应用，同时我们自己的安全团队也利用它来扫描 Google 内部及外部的关键系统。

这一有限访问窗口期展示了这些能力的重要性。例如，Wiz 使用 Argon 发现了一个此前被其他模型遗漏的医院软件中的严重漏洞，从而帮助保护了数十万患者的记录。与此同时，Google 的安全团队利用 Argon 在内部软件或开源软件中发现并修补了漏洞。这包括修复影响全球系统的基础性漏洞，这些漏洞正在经过我们的负责任披露流程。

今天，我们开始 广泛推出 Argon，并将 Fairwind Program 扩展至更多受信任的网络防御者。为了妥善完成这项工作，我们深入探讨了两个重大问题：

1. 如何构建恰当的安全护栏？ 如果 Argon 能够帮助防御者发现复杂的软件漏洞或协助科学家设计实验，我们该如何阻止恶意行为者利用它发起网络攻击或制造生物威胁？（滥用问题）
2. 我们能否信任模型以正确的方式完成任务？ 随着模型成为更具资源调配能力的解决问题者，我们如何确保它们不会走捷径、越界或在高风险决策中出错？（对齐失败与提示注入）

我们的 完整安全与保障报告 系统地涵盖了我们的整套防御措施。以下是我们在针对 Gemini 4 Argon 解决这两个问题时的一些重点内容。

高风险领域的滥用预防

同样的编码与推理能力提升，不仅使 Argon 能够发现并修补漏洞，也推动了其在网络安全测试中的表现——解决了全部 12 个端到端模拟网络攻击场景，而上一代模型仅能解决 5 个。在生物学评估中，未经防护的模型版本也展现出更强的能力，能够逐步协助排查复杂的实验室操作流程。遵循我们的 Frontier Safety Framework（前沿安全框架），鉴于我们在网络和生物领域观察到的能力显著提升，我们已在上述两个领域部署了下一代前沿安全防护措施。

首先，针对潜在的危险请求——从编写利用代码到协助处理危险生物材料，Argon 在拒绝执行有害请求方面比之前的模型表现出色得多。在一套旨在对模型进行压力测试的对抗性数据集上，违规次数几乎减半——这也显著优于之前的 Gemini 模型。其次，我们将模型包裹在三重实时保护层中；此举旨在防止那些试图通过“越狱”（即欺骗）模型的坚定攻击者，例如将危险请求伪装成无害故事，或在数周内将其拆分为数十个小问题。这些保护机制的工作原理如下：

• 输入筛查： 较小的模型会检查传入的请求和对话上下文，以识别恶意意图或危险请求。
• 内部自省： 即使请求被巧妙伪装得看似无害，小型 Transformer（“激活探针”）也会读取模型内部的神经信号，并被训练用于检测模型何时正在激活关于网络攻击或生物威胁的知识。
• 持续监控： 当模型在多步推理并生成响应时，我们会综合这些信号并在必要时采取行动，例如如果响应出现问题，则中途切断智能体（agent）的运行。

结合实时保护、针对新越狱手段的快速修复以及对反复滥用行为的增强监控，我们的系统在预防现实世界危害方面变得更加有效。例如，外部生物越狱红队测试仅能解锁不到 1% 的我们测试的生物子任务。

实时错位监控

失准（Misalignment）有时意味着智能体自行决定追求与用户意图不同的目标。由于 Argon 在理解其运行环境方面远优于早期模型，我们对此类行为进行了严格测试。例如，我们设计了逼真的“蜜罐”测试，以观察模型是否会增强其执行隐蔽行动的能力，比如破坏安全监控机制。我们未发现任何此类行为的实例。

然而，我们在实践中更常看到的是另一种更为熟悉的情况：智能体过于执着地完成既定任务。当一位足智多谋的助手被要求完成某项任务并遇到阻碍时，它可能会将该障碍视为又一个需要解决的谜题。

因此，我们在训练 Gemini 4 Argon 时，特别强调尊重系统边界、如实报告负面发现，以及在必要时暂停并向人类寻求确认。在那些模型没有理由保留实力的编程基准测试中，Gemini 4 Argon 试图走捷径或作弊的行为比例降至仅 2%，这是近期 Gemini 系列模型中的最佳表现。

尽管这已是重大进步，但当模型执行数百万次复杂任务时，即便是罕见的失误最终也会显现。作为第二道防线，我们构建了一个自动化的失准监控系统，实时读取智能体的操作及其内部“草稿纸”（即逐步的思维链），在严重的越界行为发生前予以拦截，并将严重的内部案例标记给人工响应人员。（我们持续加固训练和评估环境，以防潜在逃逸。更多详情可参阅我们的智能体控制路线图。）我们在产品、内部编程智能体、训练过程以及能力评估中均运行此监控系统。

当训练任务难度较高或训练环境存在缺陷时，我们的监控系统偶尔会捕捉到模型创造性地试图“钻空子”的行为。模型曾尝试提升容器权限以修改评分脚本、从测试运行器的内存中读取答案，甚至在一次案例中直接崩溃评估沙箱，以避免因失败运行而被评分。虽然我们会利用这些发现来修复有缺陷的任务，但不会借此干预训练过程本身，以防止模型对监控系统产生过拟合。

我们始终坚持一条原则：在训练过程中，绝不因模型在思维链（chain of thought）中写下的内容而对其进行惩罚。以下示例说明了原因： 在一次强化学习训练运行中，若意外地对思维链施加了“走捷径”的惩罚，模型公开讨论的捷径减少了 61%，但这并不意味着模型实际采取的捷径变少了。相反，模型暗中采取捷径的比例——即不在思维链中提及这些捷径——增加了两倍以上（从 11.2% 升至 36.4%）。避免对思维链施加惩罚，有助于保持模型推理过程的透明性和可监控性。

提示注入抵抗能力

要信任智能体能够正确完成任务，我们必须确保智能体遇到的恶意内容无法诱使其执行有害操作。当智能体浏览网页或读取代码时，可能会遇到隐藏的、恶意的指令或旨在劫持其任务的上下文。通过内置的对抗性训练和实时安全检查，Argon 在 Gray Swan 的间接提示注入（IPI）基准测试中展现出领先的鲁棒性，将 15 次自适应攻击尝试中的攻击成功率降至 0.7%。

上述安全与防护机制仅涵盖了我们纵深防御体系中的三个类别。如需了解更多关于我们的安全测试方法及缓解措施的信息，请阅读完整的 Gemini 4 Argon 安全与防护报告，并查阅 Gemini 4 Argon 模型卡。