量子位 (微信公众号)T2·74 分
魔搭开源 EntroPack 支持任意码率权重压缩
原标题:10GB显存跑图像模型,误差从9.4%降到4.26%:魔搭开源码率可调的权重压缩方案
- 将码率控制转化为量化结果的信息熵调控,支持任意码率与多种数值精度
- 无需激活校准或微调,可直接运行于 NVIDIA、AMD、ZW-PPU 等多种 GPU
- 10GB 显存可跑图像模型,量化误差由 9.4% 降至 4.26%,已接入扩散模型与大语言模型生态
AI 聚合热点事件 · 2026/11/19
魔搭团队开源 EntroPack,将信息熵纳入量化与压缩联合设计,把码率控制转化为对量化结果的信息熵调控,从而支持任意码率与多种数值精度。该方案无需激活校准或微调,可直接运行在 NVIDIA、AMD、ZW-PPU 等设备上,10GB 显存即可运行图像模型,量化误差从 9.4% 降至 4.26%。实现已完全开源并接入扩散模型与大语言模型生态。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:10GB显存跑图像模型,误差从9.4%降到4.26%:魔搭开源码率可调的权重压缩方案