GAR 提出生成感知重建评估：解码器适配潜变量分布，Spearman 相关系数达 0.99

GAR从潜空间分布重新理解图像生成

GAR团队 投稿

量子位 | 公众号QbitAI

让图像生成模型先把图片压缩到潜空间，再由生成器在潜空间中作画，已成为常见路线。

为了挑选图像编码器和解码器，研究者往往先看**“重建”**——把原图编码后再解码，所得图片是否逼真。

但一个令人困惑的现象是，重建指标更好，并不能代表最终生成的图片更好。

论文《A Latent Distribution Perspective on Evaluating and Improving Latent Generative Models》追问：同一个解码器，为何在重建和生成时表现不同？

研究指出，两种任务送入解码器的潜变量来源不同。重建使用编码器从真实图片得到的潜变量；生成使用生成模型产出的潜变量。两者的分布存在差距，因此解码器在前者上的成绩，不能直接代表它处理后者的能力。

**△**论文核心总览图：（a）重建与生成流程；（b）潜变量分布及GAR路径；（c）（d）rFID、GAR-FID与生成质量的相关性。

让重建逐步走向生成

为观察这一差距，作者提出**“生成感知重建”（Generation-Aware Reconstruction，GAR）**：先编码真实图片，再向其潜变量加入不同程度的噪声，交由生成模型去噪，最后用解码器还原图片。

噪声程度逐渐提高时，解码器接收到的潜变量也逐步从“重建时所见”走向“生成时所见”。这条连续路径，让过去只比较两个终点的评估有了中间过程。

**△**GAR的编码、加噪、生成模型去噪与解码流程。

**△**编码器潜变量与生成潜变量在解码器不同层的分布对比。

**△**GAR中间潜变量与重建、生成两端分布的距离变化。

基于这一路径，论文提出GAR-FID，用于衡量解码器在生成相关潜变量上的表现。在论文测试的不同视觉分词器与生成器组合中，传统重建FID（rFID）与生成FID（gFID）相关性弱，部分设置下甚至呈负相关；在指定噪声水平下，GAR-FID与gFID的排序相关性显著增强。

例如，在混合SiT-B/XL的测试设置中，GAR-FID在噪声水平0.8时与无引导生成gFID的Spearman相关系数为0.99。这里的相关性是所测试模型中的经验结果，不能理解为对任意生成模型都成立的保证。

**△**rFID、iFID与GAR-FID对生成质量的相关性。

评估发现的问题，也能指导改进

GAR路径中间的潜变量还有一个优势：它们更接近生成时的分布，同时仍与原始图片保持对应。作者据此提出**“解码器适配”**：固定编码器和生成模型，只用这些中间潜变量微调解码器，让它练习处理实际生成时更可能遇到的输入。

在ImageNet-1k的256×256类别条件图像生成实验中，作者测试了四种规模的iMF模型。采用论文所述iMF官方评估协议、且不使用分类器自由引导时，适配后iMF-B/2的gFID从16.58降至12.21，iMF-XL/2从9.78降至7.47；其余两种规模也获得改善。此外，CFG-aware适配仅训练一轮，使带引导的iMF-XL/2 gFID从1.73降至1.50。由于只更新解码器权重，这一步不增加推理流程的额外计算。

**△**解码器适配前后的生成FID：四种模型规模、有无CFG，以及iMF官方与OpenAI两套评估协议。

这项工作揭示了：评估视觉分词器时，除了看它能否准确“复原”输入，也应看解码器能否适应生成器真正提供的潜变量。GAR为观察这段分布变化提供了工具，解码器适配则展示了如何利用这一观察改善图像生成。

论文作者：Xianghong Fang、Wenjie Shu（共同第一作者）、Tongda Xu、Wenlong Mou、Dehan Kong、Tim G. J. Rudner。 研究机构：多伦多大学；Tongda Xu为独立研究者。 论文链接：https://arxiv.org/abs/2609.24088 代码：https://github.com/sunset-clouds/Generation-Aware-Reconstruction

一键三连**「点赞」「转发」「小心心」**

欢迎在评论区留下你的想法！

— 完 —

【学术投稿】请在工作日发送邮件至：[email protected]，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目/主页链接，以及联系方式。

🎓 我们会 (尽量) 及时回复你 :)

🌟 点亮星标 🌟

科技前沿进展每日见