llama.cpp 正式发布 v1.0.0,在项目启动 3.5 年后确立稳定版本基线。该项目以量化、优化后端与可移植 C/C++ 实现为核心,支持在消费级设备到企业服务器上运行多模态大模型,是本地与私有化 AI 推理生态的关键底座。
量化
Quantization
通过压缩向量表示降低存储与计算开销的近似检索加速技术
收录情报动态
一名 Reddit 网友在无显卡的家庭实验室环境中,借助已停产的英特尔傲腾持久内存 200 系列与 llama.cpp,成功加载并推理 2.8 万亿参数的月之暗面 Kimi K3 模型。在 1 比特量化下,关闭 DAX 并让热数据走 DRAM 缓存后,输出速度从每秒 0.85 词元提升至 1.5 词元,3 比特量化则仅 0.75 词元,生成 5 万词元需约 18.5 小时。该实验证明超大模型可完全依赖内存层级而非 GPU 显存运行,但速度远不具备实用价值。
文章介绍了一种针对最大内积搜索(MIPS)的新方法,指出传统近似检索方法在构建索引时默认查询向量与键向量分布相似,而 RAG 场景下用户短问题与长文档键之间存在显著几何差异,导致检索效率与精度受损。新方法针对这一错配进行优化,在查询规模较大时性能明显优于既有系统。
开源项目 llama-modchip v2.4.0 宣称可在 64GB 内存的纯 CPU 工作站上运行 284B 参数的 DeepSeek-V4-Flash 混合专家模型,峰值内存占用 57.61 GiB,256K 上下文下解码约 9–15 tok/s。项目通过 SwiGLU-H2 等量化与内存优化压缩权重,并提供 Fractal-64/MXFP4 转码与状态检查工具链。
Meta 将 Muse AI 智能体的实时视频通话功能向全美用户开放,用户可与可自定义形象的动画虚拟人对话,端到端响应延迟约 870ms。技术侧通过学生模型两遍推理复现教师模型 120 遍的效果,配合 4-bit 量化、缓存与动态批处理,单张 GB200 可并发 12 路视频流,但百万级并发所需算力规模仍是其规模化落地的核心瓶颈。
webAI 基于 IBM Granite 4.2 8B 训练并开源了 8.8B 参数的 TwIL-8B,主打数学、编程与指令遵循。官方称其量化后仅 4.98 GiB,可在 CPU 或普通显卡上运行,LiveCodeBench 得分 81.6%,超过 Qwen3.5-9B 与 Gemma 4 31B,并在编程与指令遵循上达到前沿模型约 92%-93% 的水平。
该项目提供一个完全离线的生存知识助手,在 Windows、Linux 和 macOS 上通过 llama.cpp 或 Ollama 运行本地模型,并检索 Kiwix 离线资料库(含医学维基百科、Where There Is No Doctor、iFixit 等)后带引用作答。它附带多语言实用指南与可局域网共享的网页界面,无模型时仍可用 Python 做纯检索。
淘宝 MNN 团队发布并开源约 0.3B 参数的 MNN-Pocket-0.3B,面向手机应用原生场景,将模型结构、词表、训练数据、后训练与量化推理引擎协同优化。官方称在 iPhone 18 Pro 上离线解码可达 350 token/s,峰值内存低于 300MB,目标是在业务场景上逼近 8B 级模型效果。
针对最大内积搜索(MIPS)在 RAG 场景下的性能瓶颈,该研究指出传统近似方法只关注键向量分布、忽略短查询与长文档之间的几何差异。作者提出利用查询分布特性的新检索方案,在保持精度的同时显著降低计算开销,并进一步扩展到隐私搜索场景。
Deep Principle 推出基于 GLM-5.3 后训练的开源科学模型 Hydrogen-1.0,通过整合实验全流程数据(含失败案例)进行强化学习。该模型在 FrontierScience-Research 基准上得分 38.3%,优于 GPT-6-Astra,但在 NMR 结构解析任务中略逊一筹。模型拥有 753B 参数和 1M 上下文窗口,采用 MIT 许可证并支持多种量化格式部署。