Hacker News AIT2·开源与评测
72 分
llama.cpp 的 tiled K-quant matmul 此前只提供 AVX-512、AVX2 与 AVX 内核，Arm 上的 Q3_K、Q2_K 与 IQ 系列量化格式因此回退到逐次解包权重的慢路径。该贡献补上了基于 NEON SDOT 指令的 Arm 内层内核，在 Neoverse N1 上 IQ3_M 的提示处理从 11.5 tokens/s 提升到 74.5 tokens/s，约 6.5 倍，V1 与 V2 上也有 3.3 至 4.9 倍增益。