术语slug: awq-4-bit-quantization

AWQ 4bit 量化

AWQ 4-bit Quantization

激活感知权重量化方法,将模型权重压缩至 4bit 以降低部署显存占用

收录情报动态

共 1 篇 · 第 1/1 页
IT之家 · 智能时代T2·基座大模型
78 分
商汤开源 9B 模型 Loop-9B 显存需求低至 10 GB

商汤发布并开源 SenseNova Loop-9B,通过循环复用中间层参数,将 32 个物理解码层扩展为 56 次层计算,在约 9B 参数规模下逼近 27B 级模型性能。官方 AWQ 4bit 量化权重仅约 4.9GB,部署显存需求低至 10 GB 内,支持 512K 上下文与多模态输入,显著降低私有化部署门槛。