术语slug: fisher-information

Fisher 信息

Fisher Information

衡量参数对输出分布敏感度的统计量,常用于指导逐层或逐行比特分配

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·开源与评测
71 分
开源量化编译器将 Qwen3.5-4B 压至 1.2 GB

开源项目 LookAtMyQuant 提出一种基于 Fisher 信息与 trellis 编码的后训练量化编译器,按存储单元对输出损伤分配比特预算。其第二版将 Qwen3.5-4B 压缩至 1.23 GB(约 2.3 bit/权重),在 540 道精确答案数学题上解出 330 道,优于同尺寸的 Bonsai 2 Ternary 4B(328 道),KL 散度 0.45 nats 亦低于对方的 0.59。完整配方与约 34 美元 GPU 成本已公开,代码采用 MIT 许可。