Hacker News AIT2·71 分
开源量化编译器将 Qwen3.5-4B 压至 1.2 GB
原标题:Inkling-2-Mini in 5.4 GB Memory
- 按 Fisher 信息逐行分配比特,并用 trellis 编码做后训练量化,可在 2.3 bit/权重下保持数学推理能力
- 1.23 GB 的 Qwen3.5-4B 在 540 道精确答案数学题上解出 330 道,超过同尺寸 Bonsai 2 Ternary 4B 的 328 道
- 完整配方、KL 评测与约 34 美元 GPU 成本公开,代码为 MIT 许可