Today for AI
返回热点榜
opensource热度 12.6°

AI 聚合热点事件 · 2026/11/13

llama.cpp 新增 Arm NEON 内核 提示处理提速 6.5 倍

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/13 18:28:36
全景综述与最新动态
1 家信源交叉印证

llama.cpp 的 tiled K-quant matmul 此前只提供 AVX-512、AVX2 与 AVX 内核，Arm 上的 Q3_K、Q2_K 与 IQ 系列量化格式因此回退到逐次解包权重的慢路径。该贡献补上了基于 NEON SDOT 指令的 Arm 内层内核，在 Neoverse N1 上 IQ3_M 的提示处理从 11.5 tokens/s 提升到 74.5 tokens/s，约 6.5 倍，V1 与 V2 上也有 3.3 至 4.9 倍增益。

最新动向/llama.cpp 的 tiled K-quant matmul 此前只提供 AVX-512、AVX2 与 AVX 内核，Arm 上的 Q3_K、Q2_K 与 IQ 系列量化格式因此回退到逐次解包权重的慢路径。该贡献补上了基于 NEON SDOT 指令的 Arm 内层内核，在 Neoverse N1 上 IQ3_M 的提示处理从 11.5 tokens/s 提升到 74.5 tokens/s，约 6.5 倍，V1 与 V2 上也有 3.3 至 4.9 倍增益。

逐小时热度走势

4 个完整观测小时
当前
12.6
峰值
13.319:00
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

报道时间线

共 1 篇 · 最新优先
  1. Hacker News AIT2·72 分

    llama.cpp 新增 Arm NEON 内核 提示处理提速 6.5 倍

    原标题：Llama.cpp: 6.5x faster prompt processing on Arm with a NEON kernel

    • Arm 上 Q3_K、Q2_K 与 IQ 系列量化此前缺少专用内层内核，每次点积都要重新解包权重，是提示处理慢的主因
    • 新内核基于 NEON SDOT 点积指令，Neoverse N1 上 IQ3_M 提速 6.5 倍，V1 与 V2 分别约 4.9 倍与 4.3 倍
    • 测试仅覆盖 4 线程、512 token 提示，作者预计超过 16 线程后收益会收窄甚至反转，Apple Silicon 与 Windows on Arm 未测