模型slug: bonsai-2-ternary-4b

Bonsai 2 Ternary 4B

Prism ML 推出的三值量化 4B 模型,约 1.2 GB,作为同尺寸量化基线

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·开源与评测
71 分
开源量化编译器将 Qwen3.5-4B 压至 1.2 GB

开源项目 LookAtMyQuant 提出一种基于 Fisher 信息与 trellis 编码的后训练量化编译器,按存储单元对输出损伤分配比特预算。其第二版将 Qwen3.5-4B 压缩至 1.23 GB(约 2.3 bit/权重),在 540 道精确答案数学题上解出 330 道,优于同尺寸的 Bonsai 2 Ternary 4B(328 道),KL 散度 0.45 nats 亦低于对方的 0.59。完整配方与约 34 美元 GPU 成本已公开,代码采用 MIT 许可。