术语slug: trellis-coded-quantization

Trellis 编码

Trellis Coded Quantization

利用格状结构对量化码字联合编码,在同等比特下降低量化误差

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·开源与评测
71 分
开源量化编译器将 Qwen3.5-4B 压至 1.2 GB

开源项目 LookAtMyQuant 提出一种基于 Fisher 信息与 trellis 编码的后训练量化编译器,按存储单元对输出损伤分配比特预算。其第二版将 Qwen3.5-4B 压缩至 1.23 GB(约 2.3 bit/权重),在 540 道精确答案数学题上解出 330 道,优于同尺寸的 Bonsai 2 Ternary 4B(328 道),KL 散度 0.45 nats 亦低于对方的 0.59。完整配方与约 34 美元 GPU 成本已公开,代码采用 MIT 许可。