术语slug: jailbreaking

越狱攻击

Jailbreaking

通过特定提示词绕过模型安全限制以获取违规内容的技术

收录情报动态

共 5 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·开源与评测
68 分
White Circle 开源 RISE:利用 Qwen 与 Gemini Flash 自动化搜索图像模型越狱策略

White Circle 发布开源红队工具 RISE,通过自动化搜索攻击策略来测试 AI 图像生成器的安全护栏。该工具利用现成的 Qwen 和 Gemini Flash 模型作为攻击者代理,无需额外训练即可生成大量提示词以突破限制,为防御者提供了可立即部署的评估手段。

MIT Technology ReviewT2·基座大模型
68 分
AI 拒绝机制脆弱性深度剖析:过度依赖模型“说不”能力引发安全隐忧与对齐失效风险

文章指出当前 AI 安全策略过度依赖大语言模型的“拒绝回答”机制,但这种能力并非天然存在且极易被绕过。作者通过回顾 Anthropic 的 HHH 原则及 OpenAI 早期模型行为,论证了单纯依靠训练让模型学会“说不”在对抗性攻击下极其脆弱,可能导致严重的安全误判。

Hugging Face BlogT1·基座大模型
68 分
ServiceNow 开源 AprielGuard:8B 参数 LLM 安全护栏模型

ServiceNow AI 团队发布并开源了 AprielGuard,这是一个专为现代大语言模型系统设计的 8B 参数安全与对抗鲁棒性护栏模型。该模型旨在检测涵盖毒性、仇恨言论等 16 类安全风险,以及提示注入、越狱攻击等多种对抗性威胁,为智能体系统提供统一的风险评估框架。

OpenAI 官方博客T1·商业与生态
68 分
OpenAI 与 Anthropic 发布联合安全评估结果

OpenAI 与 Anthropic 完成了业界首次跨实验室联合安全评估,互相测试对方模型在错位、幻觉及越狱等方面的表现。该合作旨在通过第三方视角验证模型安全性,凸显了行业协作在 AI 对齐研究中的价值与挑战。