llama.cpp 发布 v1.0.0 本地推理迎来里程碑

返回文章列表

llama.cpp v1.0.0：为本地 AI 生态奠定更坚实的基础

团队文章 发布于 2026 年 11 月 13 日 点赞 11

• +5

  Daniel Bevenius danbev 关注 ggml-org Georgi Gerganov ggerganov 关注 ggml-org merve merve 关注 ggml-org

llama.cpp 让在各种硬件上运行多模态 LLM 成为可能——从消费级本地机器到高端企业级服务器。通过量化、优化的后端以及可移植的 C/C++ 实现，我们让 AI 推理在软件栈的各个层面都触手可及。我们相信，这是构建跨平台和私有 AI 产品最轻量、最通用、最合理的平台。

自项目创立以来的 3.5 年间，项目发展迅速，许多下游应用已经依赖我们的工作。随着本地 AI 和隐私在日常生活中日益重要，我们预计这一趋势将持续下去。每一次新的集成都意味着更多开发者依赖我们的库接口，因此拥有灵活而稳定的 API 至关重要。

今天我们发布 v1.0.0 库，以此彰显我们对这些开发者的责任。今后，llama.cpp 和 ggml 都将通过主版本号升级来体现 API 和 ABI 的不兼容性。随着采用率不断增长，我们将更严格地让这些边界对下游使用者清晰可见。

发布版本

语义化版本更新规则

以下规则适用于所有使用语义化版本的 ggml-org 项目：

分发

我们期待拓展 ggml-org 软件的分发方式，使其能够触达开发者和最终用户。如需了解如何将 ggml-org 项目接入你的打包与发布流水线，请查看以下讨论。

开发

该项目培育了一个令人惊叹的开源社区，汇聚了技能高超、才华横溢的贡献者。随着 AI 能力在软件工程领域的快速进步，我们持续以审慎而合理的方式，在开发周期中适配并集成 LLM。维护高质量的代码库、保持对架构的掌控以及理解实现细节，将始终是我们的首要任务。

为了支撑更快的开发节奏，我们不断投入更多资源来改进项目背后的 CI 基础设施。得益于 HF Buckets 和 HF Jobs 等 HF 技术，我们能够扩展必要的算力容量，以确保每一个合入 master 分支的变更都正确无误。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持下，我们持续在所有主流硬件平台上接入更多自托管 runner。

后端与模型覆盖

llama.cpp 的底层机器学习引擎 ggml 设计为可在几乎所有现存硬件上运行。这是通过实现专用的 ggml 后端来实现的。每个后端都可以编译为动态库，并可选地在运行时加载。

当前已实现后端的完整列表可在此处查看。

我们致力于为所有模型架构提供持续支持。目前，llama.cpp 支持超过 150 种架构变体，以及所有主流的投机解码方法。

致谢

Hugging Face 的 llama.cpp 团队感谢社区给予的鼎力支持。特别感谢项目的长期维护者以及所有贡献者。这是一个重要的里程碑，没有我们的共同努力就不可能实现！

其他资源

• llama.cpp 示例
• Hugging Face 上的 ggml-org
• GitHub 上的 ggml-org
• 欢迎了解适用于 MacOS 和 Windows 的 Llama 桌面应用，由 llama.cpp 和 Hugging Face 背后的团队倾情打造。