Quanto 与 Diffusers 集成实现 DiT 低显存推理

原标题:Memory-efficient Diffusion Transformers with Quanto and Diffusers
35AI 研判分

Hugging Face 团队展示了如何将 Quanto 量化库与 Diffusers 结合,以显著降低扩散 Transformer(DiT)模型的显存占用。该方案通过权重量化技术,使得在消费级 GPU 上运行大规模生成模型成为可能。

报道正文

Memory-efficient Diffusion Transformers with Quanto and Diffusers