llama.cpp

华为开源了内部量化工具 MACaQ，这是一种模型无关的校准量化方案，可覆盖文本、图像、视频与音频模型，并适配 llama.cpp、vLLM、Diffusers 与 PyTorch 四大后端。官方数据显示，仅用 32.5 GB 显存即可在 64 分钟内完成 122B 参数模型的量化，在 Llama-3-8B 上达到同等困惑度时量化耗时减少 11 倍。