Tsinghua and BUPT Reveal New Security Flaw in Diffusion VLMs

视觉语言模型已经进入办公助手、内容审核、机器人和智能终端等场景。

它们面对的任务不再只是读一段文字，而是同时理解图片、文字以及两者之间的关系。

因此，模型的安全边界也不再是「这句话是否危险」这么简单：一句话可能没有明显风险，一张图片单独看也可能没有触发拒答，但图文合在一起后，模型是否还能准确判断真实意图？

更值得注意的是，模型生成答案的方式正在发生变化。

传统的自回归视觉语言模型，可以粗略理解为「先看图，再从左到右写答案」：图片经过编码后，形成一段视觉信息，随后参与语言生成。

离散扩散视觉语言模型（discrete diffusion vision-language models，简称dVLM）则像是在一张被遮住的答卷上逐步揭开答案：模型先从大量被遮蔽的文字状态出发，经过多轮去噪，逐步恢复完整回复。

这两种方式有一个关键差别：自回归模型中的视觉信息更接近一次性注入，而dVLM在每一轮去噪中都可能重新使用视觉条件。如果图片中包含某种不易被表面规则发现的风险语义，那么它就有机会在多个阶段反复影响模型。

清华大学与北京邮电大学将这种现象称为跨步条件传播（Cross-Step Conditional Propagation）。这里的「传播」不是说图片真的在模型里复制，而是指视觉条件在连续生成步骤中不断参与计算，影响可能沿着生成轨迹累积。

论文链接： http://arxiv.org/abs/2609.05525/

代码仓库： https://github.com/loststars2002/DIVA

对于这类离散扩散视觉语言模型，同一份隐藏在图片中的风险信号，可能像被反复提醒一样，沿着生成过程持续发挥作用。团队提出的DIVA越狱攻击方法，正是利用了这一生成特点，对模型的安全对齐进行压力测试。

图1： dVLM模型可以正确拒绝有害文本或图片的输入；但在引入 DIVA 扰动并进行文本重写后，同一模型产生了有害回复

DIVA到底是什么？

DIVA的全称是Discrete-diffusion Vision-language model Attack，是一种面向离散扩散视觉语言模型的白盒视觉越狱攻击方法。它的目标不是修改模型参数，也不是宣称所有模型都必然失效，而是在研究者能够访问模型参数和梯度的条件下，构造一种有界的视觉输入扰动，用来检验模型在完整去噪过程中的安全稳定性。

DIVA并不是简单地给图片加入噪声，而是围绕dVLM的多轮生成机制设计了一条完整的攻击链路。整体方法由跨模态意图混淆和扩散感知的对抗优化两部分组成，前者负责重新组织图文语义，后者负责让受限视觉扰动适应多个去噪状态。

1. 先明确攻击者能做什么：白盒、输入侧、有限改动

DIVA采用白盒威胁模型。研究者可以访问目标dVLM的参数、梯度、视觉编码器以及训练时使用的遮蔽接口，但不能修改模型权重。攻击只发生在推理输入端：在原始图像上叠加受到像素幅度约束的扰动，并配合经过改写的文本提示，随后让模型按照原本的反向去噪流程生成答案。

这一设定有两个作用。一方面，它可以建立当前机制下的攻击上限；另一方面，它能把「跨步条件传播」本身的影响，与黑盒迁移、代理模型误差等因素区分开来。因此，论文结论首先说明dVLM内部确实存在可被利用的结构性攻击面，并不等于同一扰动可以直接攻击所有商业模型。

2. 跨模态意图混淆：把一条显式指令拆到图文两端

DIVA首先对原始风险指令进行文本侧改写，将直接出现的对象、动作或目标替换为依赖图片才能理解的指代表达。改写后的文字本身不再承载全部语义，但仍会引导模型调用视觉信息。

与此同时，被移出文本的关键语义被放入一张复合图像。该图像由两类内容组合而成：一类是承载关键词线索的文字层，另一类是与目标语义相关的视觉内容。两者通过叠加或拼接形成复合图像，使完整意图分布在文字和视觉两个通道中。

这可以类比为把一条信息拆成两把钥匙：单独检查文字或图片，看到的都不是完整意图；模型进行多模态融合时，才会把两部分重新联系起来。这个步骤暴露出单模态过滤的局限，也为后续的视觉扰动优化提供了语义载体。

3. 跨步条件传播：为什么同一张图会反复产生影响？

在自回归VLM中，图像通常先被编码为固定的视觉前缀，后续文字再从左到右展开。DIVA将这种作用方式概括为「静态条件」：视觉信息主要在生成开始时进入模型。

而在dVLM中，回答最初是一串被遮蔽的token。模型每完成一轮去噪，都会根据当前的部分答案、文本提示和图像特征，继续恢复下一批token。由于图像特征在每一轮都重新参与计算，同一份视觉语义便可能从早期状态一直影响到后期状态。这就是DIVA所利用的跨步条件传播。

图2：自回归VLM与离散扩散VLM的视觉条件路径对比

4. 扩散感知优化：不押注一个时刻，而是覆盖多个去噪状态

普通视觉攻击往往围绕一次前向计算优化输入。DIVA则在每次更新时，从完整去噪轨迹中抽取多个时间步，并按照各时间步的遮蔽比例构造不同的中间回答状态。遮蔽比例较高时，模型面对的是尚未成形的早期答案；遮蔽比例较低时，模型已经接近生成结束。

对于每个时间步，DIVA只计算被遮蔽位置上的预测损失，衡量当前图像能否推动模型恢复预设的非拒答目标。随后，它把多个时间步的损失取平均，让同一份扰动同时适应多种中间状态。换句话说，DIVA优化的不是某一帧「快照」，而是整段生成轨迹中的持续影响。

梯度会依次经过视觉编码器、多模态投影层和双向扩散Transformer，再返回输入图像。每次更新后，扰动都被投影回规定的像素范围，并将最终图像裁剪到合法取值区间。因此，模型参数和解码规则始终不变，变化只存在于输入图像中。

5. 为什么只用一个很短的目标，而不是预先编写完整回答？

DIVA在优化阶段使用一个很短的肯定式、非拒答前缀作为教师强制目标，目的是推动模型跨过「拒绝还是继续回答」的决策边界，而不是要求模型机械复现一段预先写好的完整内容。完成优化后，攻击效果由模型的自由生成结果决定，并交给独立的安全评估器进行事后判断。

这种设计减少了对外部未对齐模型的依赖，也把研究重点放在安全策略是否被绕过，而不是对固定文本的记忆或复述上。

6. 类别级共享扰动：检验共性，而不是记住一个问题

DIVA并非为每条问题单独学习一份扰动，而是面向同一风险类别中的多条提示，联合优化一个共享扰动。训练时，不同提示轮流进入优化过程，每条提示又覆盖多个去噪时间步。这样得到的扰动需要同时适应「多问题」和「多状态」，从而减少对单一句式的过拟合。

在实际推理时，只需把预先离线计算的类别级扰动加入对应复合图像，再将图文输入交给原始dVLM。模型结构、权重以及标准反向去噪过程均不需要修改。论文报告的计算也表明，主要成本发生在离线优化阶段；储存扰动在推理时只涉及图像相加与裁剪。

图3：DIVA完整流程。左侧进行跨模态意图混淆，右侧在多个去噪时间步上联合优化受限视觉扰动

概括来说，DIVA的完整链路是：拆分图文语义—构造复合图像—采样多个去噪状态—汇总各阶段损失—在像素约束内更新扰动—以类别为单位离线共享—使用原始生成流程检验自由回答。方法的关键不是「噪声更强」，而是让视觉输入与dVLM反复读取图像的生成方式相匹配。

需要强调的是，这是一项白盒研究。论文没有公开优化后的扰动文件、可直接复现的攻击脚本、具体步长和扰动预算等细节，其目的在于揭示机制并推动防御研究，而不是提供面向真实系统的操作指南。

实验告诉了我们什么？

研究团队在HADES和VLSBench两个多模态安全基准上，测试了LLaDA-V、MMaDA和LLaDA2.0-Uni三类离散扩散视觉语言模型，并与未攻击模型以及面向自回归模型设计的视觉越狱方法进行比较。

这里的ASR（Attack Success Rate，攻击成功率）是一个安全风险指标：数值越高，表示模型越容易生成不符合安全策略的内容，并不代表模型的通用能力更强。

1. 三个目标模型都出现了明显****风险

在HADES的Beaver语义评估指标下，DIVA在三个目标模型上的平均ASR分别为：

• LLaDA-V：58.80%；
• MMaDA：67.73%；
• LLaDA2.0-Uni：69.07%。

三组结果都高于对应模型上的比较方法。尤其是在MMaDA上，DIVA比DIJA高6.67个百分点；在LLaDA2.0-Uni上，DIVA比DIJA高19.20个百分点。

这些数字的意义并不是「模型已经完全失去安全能力」，而是说明：当攻击方法针对扩散式生成的结构特点进行设计时，原本主要为自回归模型建立的视觉安全防线可能并不充分。

2. 换一个测试分布，风险仍然存在

VLSBench的测试分布没有直接参与对应的扰动优化，更接近留出场景。在这一基准上，DIVA在LLaDA-V和MMaDA上的ASR分别达到52.07%和74.16%，同样在比较方法中最高。

这说明论文观察到的现象并不只依赖某一套固定问题。跨步条件传播更像是与模型生成机制有关的结构性风险，但这并不等价于一个扰动可以无条件转移到所有模型；论文中的扰动仍然需要针对目标模型和风险类别重新优化。

3. 消融实验说明：关键不只是「加噪声」

在LLaDA-V上的消融实验中，研究团队逐步加入复合图像、随机扰动、打乱空间结构的扰动，以及完整的DIVA优化扰动。平均ASR从32.93%逐步提升到41.00%、44.53%、52.67%，最终达到58.80%。

这个结果说明，DIVA的效果不能简单归结为「图片噪声越大越有效」。复合图像本身提供了跨模态语义，空间结构会贡献一部分效果，而真正针对多个去噪状态进行优化，才带来完整方法的主要增益。

4. 视觉上几乎不变，模型内部却可能持续受影响

论文还对扰动的可感知性进行了分析。放大前，攻击图像与原图在肉眼观察下高度相似；放大差异后，才能看到分布在图像中的低幅度变化。

图4：代表性扰动的可感知性分析

这提醒我们，安全审核不能只依靠人工浏览图片，也不能只用简单的像素差异阈值判断输入是否可信。模型可能对人眼不明显的统计变化十分敏感，而这些变化在多轮生成中又可能被反复利用。

从「攻击结果」走向「防御启示」

DIVA最值得关注的地方，不是它把某个ASR数字提高了多少，而是它提出了一个防御问题：我们是否只检查了模型的输入和最终答案，却忽略了答案是怎样一步步生成出来的？

基于论文结果，未来的多模态安全系统至少可以从以下方向加强：

1. 检查跨模态组合语义。 文本过滤和图像过滤需要协同工作，不能把两种模态完全分开处理。

2. 监测生成过程中的阶段稳定性。 对扩散式模型而言，可以比较不同去噪区间的安全判断是否发生异常切换。

3. 为不同生成架构建立专门的红队测试。 自回归模型和扩散模型的风险接口并不相同，评测方法不能简单照搬。

4. 把安全对齐从最终输出前移到生成轨迹。 如果模型在中间阶段已经形成了明显的不安全方向，等到最后一步再拦截可能已经太晚。

这些方向可服务于模型上线前的安全验收、红队评测、多模态内容审核和模型更新后的回归测试。对于机器人、智能终端等需要持续处理图像的系统，跨时间步的安全监测尤其值得重视。

总结

当模型从「看一次图再回答」变成「在生成过程中反复参考图像」，安全问题也会从静态输入检查，延伸到动态生成轨迹。

DIVA的工作提示我们：扩散式视觉语言模型的安全对齐，需要理解它独特的生成机制，也需要在每一个可能重新注入视觉条件的阶段保持警惕。

参考资料：

http://arxiv.org/abs/2609.05525/

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定新智元极速推送！