IT之家 · 智能时代T2·基座大模型
78 分
商汤发布并开源 SenseNova Loop-9B,通过循环复用中间层参数,将 32 个物理解码层扩展为 56 次层计算,在约 9B 参数规模下逼近 27B 级模型性能。官方 AWQ 4bit 量化权重仅约 4.9GB,部署显存需求低至 10 GB 内,支持 512K 上下文与多模态输入,显著降低私有化部署门槛。
AWQ 4-bit Quantization
激活感知权重量化方法,将模型权重压缩至 4bit 以降低部署显存占用
商汤发布并开源 SenseNova Loop-9B,通过循环复用中间层参数,将 32 个物理解码层扩展为 56 次层计算,在约 9B 参数规模下逼近 27B 级模型性能。官方 AWQ 4bit 量化权重仅约 4.9GB,部署显存需求低至 10 GB 内,支持 512K 上下文与多模态输入,显著降低私有化部署门槛。