GGUF 量化

一种用于存储大型语言模型权重的高效文件格式，支持多种位宽量化（如 BF16, IQ1_M），旨在降低显存占用并加速本地推理。