量子位 (微信公众号)T2·开源与评测
74 分
魔搭团队开源 EntroPack,将信息熵纳入量化与压缩联合设计,把码率控制转化为对量化结果的信息熵调控,从而支持任意码率与多种数值精度。该方案无需激活校准或微调,可直接运行在 NVIDIA、AMD、ZW-PPU 等设备上,10GB 显存即可运行图像模型,量化误差从 9.4% 降至 4.26%。实现已完全开源并接入扩散模型与大语言模型生态。
Lattice Quantization
将权重向量映射到规则格点(如 E8 格)以降低量化误差的方法
魔搭团队开源 EntroPack,将信息熵纳入量化与压缩联合设计,把码率控制转化为对量化结果的信息熵调控,从而支持任意码率与多种数值精度。该方案无需激活校准或微调,可直接运行在 NVIDIA、AMD、ZW-PPU 等设备上,10GB 显存即可运行图像模型,量化误差从 9.4% 降至 4.26%。实现已完全开源并接入扩散模型与大语言模型生态。