Rohan Paul (@rohanpaul_ai)T2·开源与评测
68 分
White Circle 发布开源红队工具 RISE,通过自动化搜索攻击策略来测试 AI 图像生成器的安全护栏。该工具利用现成的 Qwen 和 Gemini Flash 模型作为攻击者代理,无需额外训练即可生成大量提示词以突破限制,为防御者提供了可立即部署的评估手段。
Jailbreaking
通过特定提示词绕过模型安全限制以获取违规内容的技术
White Circle 发布开源红队工具 RISE,通过自动化搜索攻击策略来测试 AI 图像生成器的安全护栏。该工具利用现成的 Qwen 和 Gemini Flash 模型作为攻击者代理,无需额外训练即可生成大量提示词以突破限制,为防御者提供了可立即部署的评估手段。
文章指出当前 AI 安全策略过度依赖大语言模型的“拒绝回答”机制,但这种能力并非天然存在且极易被绕过。作者通过回顾 Anthropic 的 HHH 原则及 OpenAI 早期模型行为,论证了单纯依靠训练让模型学会“说不”在对抗性攻击下极其脆弱,可能导致严重的安全误判。
ServiceNow AI 团队发布并开源了 AprielGuard,这是一个专为现代大语言模型系统设计的 8B 参数安全与对抗鲁棒性护栏模型。该模型旨在检测涵盖毒性、仇恨言论等 16 类安全风险,以及提示注入、越狱攻击等多种对抗性威胁,为智能体系统提供统一的风险评估框架。
OpenAI 与 Anthropic 完成了业界首次跨实验室联合安全评估,互相测试对方模型在错位、幻觉及越狱等方面的表现。该合作旨在通过第三方视角验证模型安全性,凸显了行业协作在 AI 对齐研究中的价值与挑战。
针对大模型易受提示注入和越狱攻击的安全痛点,研究提出“指令层级”概念。通过训练模型识别并优先执行特权指令(如系统提示),有效抵御恶意覆盖原始指令的攻击,提升模型鲁棒性。