术语slug: quantization

量化

Quantization

通过压缩向量表示降低存储与计算开销的近似检索加速技术

收录情报动态

共 31 篇 · 第 1/4 页
Hugging Face BlogT1·开源与评测
78 分
llama.cpp 发布 v1.0.0 本地推理迎来里程碑

llama.cpp 正式发布 v1.0.0,在项目启动 3.5 年后确立稳定版本基线。该项目以量化、优化后端与可移植 C/C++ 实现为核心,支持在消费级设备到企业服务器上运行多模态大模型,是本地与私有化 AI 推理生态的关键底座。

IT之家 · 智能时代T2·算力与基建
58 分
玩家用停产傲腾内存跑通 2.8 万亿参数 Kimi K3

一名 Reddit 网友在无显卡的家庭实验室环境中,借助已停产的英特尔傲腾持久内存 200 系列与 llama.cpp,成功加载并推理 2.8 万亿参数的月之暗面 Kimi K3 模型。在 1 比特量化下,关闭 DAX 并让热数据走 DRAM 缓存后,输出速度从每秒 0.85 词元提升至 1.5 词元,3 比特量化则仅 0.75 词元,生成 5 万词元需约 18.5 小时。该实验证明超大模型可完全依赖内存层级而非 GPU 显存运行,但速度远不具备实用价值。

Hacker News AIT2·开发与工程
58 分
新型 MIPS 索引让 RAG 检索更快更省

文章介绍了一种针对最大内积搜索(MIPS)的新方法,指出传统近似检索方法在构建索引时默认查询向量与键向量分布相似,而 RAG 场景下用户短问题与长文档键之间存在显著几何差异,导致检索效率与精度受损。新方法针对这一错配进行优化,在查询规模较大时性能明显优于既有系统。

Hacker News AIT2·开源与评测
74 分
llama-modchip 让 284B DeepSeek 在 64GB 内存纯 CPU 运行

开源项目 llama-modchip v2.4.0 宣称可在 64GB 内存的纯 CPU 工作站上运行 284B 参数的 DeepSeek-V4-Flash 混合专家模型,峰值内存占用 57.61 GiB,256K 上下文下解码约 9–15 tok/s。项目通过 SwiGLU-H2 等量化与内存优化压缩权重,并提供 Fractal-64/MXFP4 转码与状态检查工具链。

Rohan Paul (@rohanpaul_ai)T2·智能体与协同
78 分
Meta 向全美用户开放 Muse AI 智能体实时视频通话

Meta 将 Muse AI 智能体的实时视频通话功能向全美用户开放,用户可与可自定义形象的动画虚拟人对话,端到端响应延迟约 870ms。技术侧通过学生模型两遍推理复现教师模型 120 遍的效果,配合 4-bit 量化、缓存与动态批处理,单张 GB200 可并发 12 路视频流,但百万级并发所需算力规模仍是其规模化落地的核心瓶颈。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
webAI 开源 TwIL-8B 小模型逼近前沿编程与数学能力

webAI 基于 IBM Granite 4.2 8B 训练并开源了 8.8B 参数的 TwIL-8B,主打数学、编程与指令遵循。官方称其量化后仅 4.98 GiB,可在 CPU 或普通显卡上运行,LiveCodeBench 得分 81.6%,超过 Qwen3.5-9B 与 Gemma 4 31B,并在编程与指令遵循上达到前沿模型约 92%-93% 的水平。

Hacker News AIT2·开发与工程
58 分
离线生存助手发布 本地 LLM 搭配 Kiwix 从 U 盘运行

该项目提供一个完全离线的生存知识助手,在 Windows、Linux 和 macOS 上通过 llama.cpp 或 Ollama 运行本地模型,并检索 Kiwix 离线资料库(含医学维基百科、Where There Is No Doctor、iFixit 等)后带引用作答。它附带多语言实用指南与可局域网共享的网页界面,无模型时仍可用 Python 做纯检索。

Apple Machine Learning ResearchT1·开发与工程
62 分
新方法利用查询分布差异加速 RAG 检索

针对最大内积搜索(MIPS)在 RAG 场景下的性能瓶颈,该研究指出传统近似方法只关注键向量分布、忽略短查询与长文档之间的几何差异。作者提出利用查询分布特性的新检索方案,在保持精度的同时显著降低计算开销,并进一步扩展到隐私搜索场景。

Marktechpost (@Marktechpost)T2·基座大模型
78 分
Deep Principle 发布 Hydrogen-1.0 开源科学大模型

Deep Principle 推出基于 GLM-5.3 后训练的开源科学模型 Hydrogen-1.0,通过整合实验全流程数据(含失败案例)进行强化学习。该模型在 FrontierScience-Research 基准上得分 38.3%,优于 GPT-6-Astra,但在 NMR 结构解析任务中略逊一筹。模型拥有 753B 参数和 1M 上下文窗口,采用 MIT 许可证并支持多种量化格式部署。