Hacker News AIT2·基座大模型
68 分
LittleBit-2 提出了一种将大语言模型压缩至亚 1-bit 级别的新方法,核心在于对权重矩阵进行低秩潜在因子分解并二值化。该研究通过引入内部潜在旋转与联合迭代量化(Joint-ITQ)技术,解决了初始化阶段的潜在几何错位问题,从而在保持原始推理架构且无额外开销的前提下,实现了低至 0.1 bits/weight 的极致压缩。
Binarization
将数值映射为仅包含 -1 和 +1 两种状态的操作
LittleBit-2 提出了一种将大语言模型压缩至亚 1-bit 级别的新方法,核心在于对权重矩阵进行低秩潜在因子分解并二值化。该研究通过引入内部潜在旋转与联合迭代量化(Joint-ITQ)技术,解决了初始化阶段的潜在几何错位问题,从而在保持原始推理架构且无额外开销的前提下,实现了低至 0.1 bits/weight 的极致压缩。