术语slug: iq-quantization

IQ 量化

IQ quantization

llama.cpp 的 importance-aware 低比特量化格式族,含 IQ2_M、IQ3_M 等变体

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·开源与评测
72 分
llama.cpp 新增 Arm NEON 内核 提示处理提速 6.5 倍

llama.cpp 的 tiled K-quant matmul 此前只提供 AVX-512、AVX2 与 AVX 内核,Arm 上的 Q3_K、Q2_K 与 IQ 系列量化格式因此回退到逐次解包权重的慢路径。该贡献补上了基于 NEON SDOT 指令的 Arm 内层内核,在 Neoverse N1 上 IQ3_M 的提示处理从 11.5 tokens/s 提升到 74.5 tokens/s,约 6.5 倍,V1 与 V2 上也有 3.3 至 4.9 倍增益。