1450 亿参数端侧模型 Edge0-145B 开源
AutoArk 开源 Edge0-145B 与 Edge0-120B 两款端侧模型，其中 145B 版本号称全球首个可在个人电脑本地运行的 1450 亿参数开源模型，峰值内存约 29GB、解码速度超 80 tokens/s。官方称其编码、推理与智能体能力可对标部分前沿云端模型，并同步发布统一推理框架与部署工具，核心能力可离线使用、无需账号或配额。
报道正文
本文目录22 个章节
今天，我们开源了 Edge0-145B 和 Edge0-120B，以及我们的统一推理框架和部署工具。Edge0-145B 是全球首个开源的、拥有 1450 亿参数的端侧 AI 模型。它将媲美前沿云端模型的编码、推理和智能体能力带到了你自己的电脑上。
长期以来，端侧 AI 一直被迫在模型能力与硬件可运行性之间做出取舍。更大的模型需要更多内存、带宽和功耗；更小的模型则难以应对复杂任务。而将这类工作迁移到云端，又会带来模型提供商费用、数据处理限制以及对网络连接的依赖。
本次发布从四个方面解决了这些限制：
| 限制条件 | Edge0-145B 带来的可能性 |
|---|---|
| 大型模型难以在个人硬件上运行。 | 一个 145B 模型可在兼容的笔记本电脑上本地运行，据报告峰值内存为 29GB，解码速度超过 80 tokens/s。 |
| 设备端的小型模型在高要求任务上可能表现不足。 | 编程、推理和指令遵循的结果可与特定的前沿云端模型相媲美，如下方对比所示。 |
| 一个有用的助手需要完成工作，而不仅仅是回答问题。 | 该模型能够规划、编写和运行代码、调试错误，并通过视觉方式检查结果，适用于 3D 场景、游戏、硬件程序和 PCB 设计等项目。 |
| 云端工作流会带来经常性费用、敏感数据限制和网络依赖。 | 本地推理不会产生相应的云端模型 token 或 API 费用；数据可以保留在计算机上，核心能力在离线状态下仍可正常工作。硬件和电力仍然需要花钱。 |
我们正在发布完整技术栈，让开发者能够复现结果、评估或微调模型，并将其集成到自己的产品中。
我们如何让 100B+ 参数 AI 在个人电脑上运行
Edge0-145B 笔记本性能：内存、速度与功耗
Edge0-145B 让 1450 亿参数模型可在个人笔记本电脑上使用。一个实用的本地模型必须能装入内存、及时处理提示词、以足够快的速度生成内容以供使用，并将功耗控制在合理范围内。它还需要能够持续执行更长的任务。
| 需求 | 报告的 Edge0-145B 结果 | 它带来的能力 |
|---|---|---|
| 内存 | 29GB 峰值内存 | 可在兼容的个人笔记本电脑上运行，例如 MacBook Pro，无需服务器。 |
| 提示处理 | 1,100+ tokens/s 预填充 | 在生成开始前处理长提示，包括数十页代码。 |
| 生成 | 80+ tokens/s 解码 | 生成速度快于人类阅读速度。 |
| 功耗 | 典型功耗约 120W | 在报告的设置中持续运行而不降频。 |
| 长任务 | 128K–256K 上下文 | 在长输入上保持基本相同的速度，支持扩展工作。 |
我们早前发布的 Edge0-35B 手机版本报告峰值内存低于 2.5GB。在 iPhone 18 Pro Max 上，Edge0-35B 使用约 2.5GB 内存即可实现 37+ tokens/s 的生成速度。Edge0-145B 的参数量约为前者的四倍；其笔记本电脑对比测试报告 80+ tokens/s 和 28GB 峰值内存。这些测量结果适用于不同的模型和硬件。
端侧模型规模随时间的变化。该图表涵盖来自 14 个实验室的 67 个至少 10 亿参数的开源模型，面向手机、笔记本电脑和 AI PC。同尺寸的 base、instruct 和 reasoning 变体只计一次；每条线追踪一个实验室最大的模型，包括 2025 年 7 月之前的发布。实心点标记新纪录，空心点标记其他发布。规模在 40B 以下为对数刻度，以上为线性刻度。Apple 因未公开权重而被排除。来源：厂商公告和模型卡。
端侧模型为何一直保持小规模
在 2026 年 9 月之前，内存限制使大多数端侧模型保持在 100 亿参数以下。Apple Intelligence 的端侧基础模型约有 30 亿参数，而 Google 的 Gemini Nano 则有 18 亿和 32.5 亿参数版本。即便是 7B 模型也可能消耗约 4GB 内存。
更大的模型面临内存墙。模型权重占用存储空间，并且必须在生成过程中读取，与操作系统和其他应用争夺有限的内存和带宽。即便是经过激进压缩的 35B 模型，也可能需要约 20GB 内存，远超手机所能提供的容量。
计算、带宽和功耗形成了相互制约的约束。更大的模型提供更强的能力，但会挤压内存容量、生成速度和电池续航。缩小模型有助于其适配设备，但往往以能力为代价。
仅靠隐私无法弥合这一差距。Apple Intelligence 保护用户数据，但 Apple 承认其端侧模型并非为需要通用世界知识的智能体应用而设计。当时的普遍假设是，端侧智能无法与云端匹敌。
Edge0 的内部机制：模型与推理设计的四个层面
我们同时设计了 Edge0-145B 及其推理引擎，以减少使大模型难以在本地运行的内存占用和数据移动。该设计涵盖架构、训练、加载和调度。
架构：在稀疏专家之间共享大型矩阵。 共享矩阵大幅减少了需要存储和搬运的权重，同时保持专家数量不变。每 64 个专家组成一组，共享两个大型矩阵，而每个专家保留一小组参数以体现其差异。此前，每个专家都存储一整套完整的矩阵。在模型 145B 的总参数中，每次推理步骤只有约 10B 参数参与计算。
训练：从第一天起就为本地执行而构建。 我们从一开始就按照其端侧架构训练模型，并将部署约束内建于设计之中。这避免了在训练完云端模型之后，再把本地部署当作压缩或剪枝步骤来处理。
加载：让 GPU 显存、系统内存和 SSD 访问形成流水线。 读取与计算在三个存储层级之间重叠进行，避免串行等待。常用的“热专家”常驻 GPU 显存。约 40GB 的专家库位于系统内存中，专家按需调入 GPU 显存。约 48GB 的词表数据存放在 SSD 上，按需读取。
调度：让 CPU 与 GPU 协同工作。 GPU 计算已缓存的专家，同时 CPU 并行处理剩余工作。投机解码一次验证多个候选 token，将读取权重的开销分摊到更多输出 token 上。这些选择支撑了所报告的 80+ tokens/s 解码速率。
模型与推理引擎的协同设计，使 100B+ 参数推理在个人电脑上变得切实可行。来源：内部测试。
这些改动共同作用，使参数量从数百亿增长到一千亿以上，而内存占用、功耗和延迟并未成比例增加。
Edge0 能做什么：在你的电脑上完成从聊天到复杂工作的任何任务
Edge0-145B 能够将复杂任务推进到可用的结果。其编码与推理能力支持本地工作流，涵盖规划、工具使用、执行、调试和视觉检查。基准测试确立了它的能力；演示则展示了它如何将这些能力付诸实践。
媲美前沿云端模型的编码与推理能力
Edge0-145B 在编码、推理、知识和指令遵循方面，可与特定的前沿云端模型一较高下：
- 编程： 它在 DeepSWE 1.1 上得分 64.6，领先于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
- 推理与知识： 它在 GPQA-Diamond 上得分 90.4，接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 (Max) 的 91.3。
- 指令遵循： 它在 IFBench 上得分 80.6，领先于 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 (Max) 的 62.5。
其在 Terminal-Bench 2.1 上的 86.52 也超过了 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 以及 Claude 的 78.2。在 AA-LCR 上，Edge0-145B 得分为 79.3，而 Claude 为 78.0。这些比较仅适用于上述具名模型和评测。
| 模型 | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 (Max) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
分数为百分比，越高越好。短横线表示没有公开分数，而非分数为零。
Edge0、Qwen、DeepSeek 和 Claude 的结果来自 Edge0 的内部评估。Claude-Opus-4.6 没有公开的 DeepSWE 1.1 分数。对于 Flint、Muse Glimmer 和 Gemma 4，Terminal-Bench 2.1 和 IFBench 的结果来自 Recursive Flint 评估；HLE、GPQA 和 AA-LCR 的结果来自 Artificial Analysis。
相较于主流端侧模型基线 Qwen3.8-27B，最大提升出现在智能体和编程任务上：Terminal-Bench 上提升 18.5%，DeepSWE 上提升 53.1%。在 HLE、GPQA 和 IFBench 上的相对提升分别为 14.9%、1.3% 和 1.4%。
DeepSWE 1.1 和 Terminal-Bench 2.1 评估智能体和编程工作。HLE、GPQA-Diamond 和 IFBench 覆盖推理、知识和指令遵循。完整的评估设置、硬件环境和复现说明将随我们的技术报告一并发布。
以更小内存占用实现有竞争力的能力
Edge0-145B 在六项基准测试上取得 72.8 的平均分，实测峰值内存为 29GB。Qwen3.8-Flash-Next 平均为 71.7，标准 4-bit 部署的估计内存占用约为 70GB。这意味着 Edge0-145B 的内存约为估计基线内存的 40%，同时提供相当或更高的能力，使其可在 48GB 笔记本电脑上本地使用。
| 模型 | 六个基准测试的平均值 | 内存占用（实测或估算） |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 约 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 约 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 约 87GB* |
这些指标涵盖 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 的内存数据为实测内部峰值。带星号的基线数据是标准 4-bit 部署的估算值，尚待实测。Claude 未纳入对比，因为它仅提供云端服务，且没有 DeepSWE 得分。
[图：质量与峰值内存的对比，标注了 48GB 笔记本电脑和 64GB 工作站的容量。内存越低、得分越高越好；图表的纵轴并非从零开始。]
能够规划、编码、运行并检查自身工作的本地智能体
一条自然语言请求即可启动完整的本地工作流。Edge0-145B 会拆解需求、规划步骤、编写代码，并调用工具运行代码。一旦出现失败，它会调试并修复代码。随后它会截图检查结果，并持续迭代，直到任务完成。
这类项目往往需要数十轮规划、执行和审查。本地推理意味着这些额外的对话、代码修订和视觉分析不会产生相应的云端模型 token 或 API 费用。代码和数据可以留在本机，核心模型能力可离线运行。
视频制作：一小时内生成 Tesla Roadster 讲解视频
Edge0-145B 制作了一支关于 Roadster 如何飞行的讲解视频，涵盖技术调研、脚本撰写、素材生成和剪辑。我们要求它让普通观众也能理解其中的原理。该模型在本地运行，没有调用云端模型，也没有消耗云端 token，从而避免了推理过程中的网络往返。
视频在一小时内生成完成。若以人工方式完成同等质量的工作，需要导演兼编剧、3D 建模师、剪辑师和物理学专家投入一个月。此前的 AI 视频工作流成本可能超过数百美元；本地推理则免除了相应的云端模型 token 和 API 费用。
3D 建模：在 Blender 中构建曼哈顿城市场景
Edge0-145B 在一小时内构建了一个曼哈顿 3D 场景。它在 Blender 中依据文本和参考图像开展工作，搭建场景、调整材质和光照，并对渲染输出进行迭代。
该工作流将视觉检查、代码生成和修订整合在 Blender 内部。模型能够处理对象、空间关系和创作目标，而不仅仅局限于参考图像中的像素。它会检查结果、编写代码并进行修改，无需将这些步骤交回人工处理。整个过程完全在本地运行。
手动创建一个曼哈顿规模的城市场景通常需要花费约 12,000-18,000 美元，并至少耗时一个月。即便是领先的云端模型，也仍会产生超过 150 美元的云端 token 费用。Edge0-145B 在本地完成推理，无需支付这些云端模型的 token 费用。
游戏开发：可玩的游戏与中世纪城市
Edge0-145B 能够在本地创建可玩的游戏。我们还利用其 3D 建模能力，为一款奇幻 RPG 构建了一座原创的中世纪都城，并以游戏预告片的质量渲染了一段 20 秒的飞越动画。
该模型独立规划了这座城市，并在 Blender 中从零开始构建：城墙、一千多座老城住宅、广场喷泉、哥特式双塔立面、肋拱中殿以及彩色玻璃窗。
固定的相机路径让错误无处遁形。几何体穿插、遮挡或比例不当都会在路线上显现出来，因此模型在构建过程中会检查渲染结果并修正其工作。整个工作流完全在本地运行。
在使用相同的提示词、参考图像和相机路线的情况下，一个领先的云端模型需要数百次工具调用和数亿个 token 才能完成一次生成。Edge0-145B 在一台笔记本电脑上就完成了交付，本地推理无需支付云端模型的 token 或 API 费用。而一个美术团队通常需要花费数周时间和数千美元，才能制作出达到此标准的城市场景。
硬件控制：让真实无人机飞行的代码
Edge0-145B 根据一条指令为真实无人机编写了程序：“编写一个无人机程序，使其能够穿越障碍物并找到红色背包。”
它在本地生成了飞行控制和视觉识别程序。随后，无人机在室内起飞，穿越一排密集的障碍杆，自主搜索，并在墙边找到了红色背包。该任务无需人工编写代码，也无需调用云端服务。
硬件开发者可以描述他们想要的行为，让模型将其转化为真实设备的程序，而无需在编辑器、文档和调试工具之间反复切换。
PCB 设计：从 KiCad 布局到装配动画
Edge0-145B 完成了一次从元器件布局到装配可视化的 PCB 设计。我们让它为自己设计一块电路板。它从零开始在 KiCad 中起步，放置元器件，完成双层板布线，并将设计导入 Unreal Engine 5。随后它设置相机与灯光，渲染出一段 PCB 制造与装配的动画。
一台计算机完成的工作，过去需要一名硬件工程师和一名 3D 设计师来回交接数天。原理图和电路板布局可以保留在团队自己的硬件上，从而支持商业秘密保护和数据处理要求，无需将设计上传至云端模型。
为什么选择 Edge0：端侧 AI 的全栈方案
有用的端侧 AI 需要模型开发、推理工程和硬件适配协同工作。我们的进展建立在三项能力之上：快速开发互补模型、优化全栈，并将每次部署的经验带入下一次部署。
我们 9 月发布的 Edge0-35B 展示了这一方法在手机上能带来什么。其发布文章在海外社区未经付费推广的情况下，首日浏览量突破 120 万。来自 OpenAI、NVIDIA、Qualcomm 等公司的研究人员和技术专家分享了该文章，模型登上 Hugging Face 总榜 Trending 第一。
我们同时发布了模型权重和统一推理框架，为企业与研究人员提供了一套可复现的标准方法。此次发布推动端侧 AI 的讨论从数十亿参数级别迈向 35B 层级。
面向端侧 AI 的四大模型系列
过去一年，我们发布了四大系列共 200 个模型。每个系列负责不同的工作环节，从听与说到快速决策、记忆和复杂智能体任务。
| 模型系列 | 角色 | 模型与能力 |
|---|---|---|
| Edge0 | 复杂智能体任务与 vibe coding | 面向笔记本电脑的 145B 和 120B 模型；面向手机的 35B 和 8B 模型。笔记本模型支持 vibe coding，手机模型支持智能体任务。 |
| Audio8 | 听与说 | 用于语音识别的 ASR-Infinite 以及 3B、0.6B 和 0.1B ASR 模型；用于语音合成的 0.6B 和 0.1B TTS 模型；以及用于端到端语音交互的 0.1B Chat 模型。 |
| Decision0 | 快速决策 | 0.6B 和 3B 模型，覆盖文本、语音和视觉，可在约 40 毫秒内完成多模态决策。 |
| Embedding0 | 记忆 | 一个 0.6B 多模态嵌入模型，支持文本、语音、图像、视频和文件，支持本地长期记忆和检索增强生成（RAG）。 |
该产品组合的参数量跨度从数千万到超过一千亿。Edge0 和 Audio8 均已登上 Hugging Face Trending 榜单第一名。
模型与推理系统协同设计
我们同步开发模型与推理框架，将硬件约束纳入训练过程，并针对不同芯片优化推理引擎。这将模型能力与本地运行所需的软硬件连接起来。
这项工作需要模型开发、推理框架和底层硬件适配方面的专业知识。对于仅专注于模型开发的公司而言，这种组合难以复制。
可延续至每次部署的硬件优化
每次部署都会为我们带来可复用的优化成果，用于下一款芯片、模型或产品。这一点很重要，因为端侧硬件高度碎片化：NPU 架构各不相同，对 INT4、INT8 和 FP4 等数值格式的支持也各有差异。通用模型无法自动充分利用每一款芯片。
我们针对各个平台进行适配。我们的产品组合现已覆盖 95% 的主流芯片平台，包括高通、BES、瑞芯微、全志、地平线和 NVIDIA，涵盖耳机、眼镜、手机、PC 和机器人。这是产品组合层面的覆盖；不同模型的要求各异，这并不意味着每台设备都能运行 Edge0-145B。
目前，该部署工作已覆盖超过 500 万台量产设备。我们的开源模型在三个月内下载量突破 1500 万次。截至 2026 年 10 月，我们的客户组织已超过 11 万家。
产品组合数据来自公司论文和内部测试。这些数据描述的是更广泛的 Edge0 产品组合；本文中的 145B 性能结果特指 Edge0-145B。
对于 Edge0-145B，首日即支持 macOS、Windows 和 Linux，包括 Apple M 系列芯片以及 RTX Spark、RTX 4090 和 RTX 5090 等 NVIDIA 平台。该版本包含一键部署工具和硬件指南。
端侧 AI 与云端的未来
随着本地模型接近云端能力，更复杂的工作可以留在设备上完成。隐私、成本控制和离线访问一直有利于本地执行；剩下的问题是端侧模型能否胜任这些工作。Edge0-145B 扩大了其可承担的任务范围。
为何更多 AI 工作可以留在本地
本地执行解决了采用纯云端 AI 的四个实际障碍：
- 控制云端模型成本。 随着使用量增长，本地推理不会产生相应的云端模型 token 或 API 费用。
- 将敏感数据保留在本地。 代码、文档和业务记录可以留在硬件上，让团队能够掌控数据处理方式。
- 保持流畅的响应体验。 模型和推理引擎的设计同时兼顾响应速度、功耗、系统响应性和持续运行。
- 让核心能力在离线状态下依然可用。 连接中断时，本地任务仍可继续；依赖在线信息或服务的功能仍然需要网络连接。
从云端优先到更多复杂工作在本机完成
我们看到设备与云端之间的分工正经历三个阶段的变化。
2026 年 9 月之前：云端优先，辅以本机支持。 Apple Intelligence 体现了这一阶段：它保护了隐私，但只能在本地处理有限范围的任务，更繁重的工作则依赖云端能力。
Edge0-35B 于 9 月 10 日发布之后：日常任务在本地，复杂任务在云端。 本地模型可以承接需要即时响应的频繁请求。对于一家领先的耳机厂商，我们的混合方案目前将 92% 的 AI 使用量放在本机处理，8% 放在云端。在消费级可穿戴设备上，日常对话占据了大多数用例。
借助 Edge0-145B：迈向本机优先，辅以云端支持。 Vibe coding 和其他复杂任务现在可以在个人电脑上运行，让团队在本地执行方面拥有更大的选择空间。这扩展了可以留在设备上完成的工作范围，同时将云端保留给需要它的任务和硬件。
该图展示了从云端优先 AI 到日常本地任务、再到更复杂的本地工作的转变。图中的彩色区域仅为示意，并非实测的使用占比。
云端 AI 仍然适用的场景
硬件限制仍然决定哪种模型能够适配。算力、散热和电池续航都很重要：Edge0-35B 可在手机上运行，而 Edge0-145B 则需在配置合适的笔记本电脑上运行。算力极低的设备目前无法在本地运行 145B 模型。它需要适配其硬件的更小模型，或者通过云端访问该规模的模型。
跨设备长期记忆以及需要高度时效性信息的搜索仍然依赖云服务。本地模型与云端模型可以协同工作；合理的分工取决于任务、硬件以及所需的信息。
目标是让本地执行成为高要求工作的实用选择，借助一个能力出色的模型，让它能够在用户身边持续工作。这是我们朝着让智能触手可及、与每个人零距离这一目标迈出的下一步。
Edge0 快速上手
下载模型以在本地运行、评估或微调它们，并将它们集成到你自己的产品中：
- 模型权重： Hugging Face 上的 Edge0-145B 和 Edge0-120B。
- 推理框架与部署指南： GitHub 上的 Edge0。
- 无需配置环境即可试用： 下载 Edge0 App。其核心模型能力可离线使用，无需账号或使用配额。
- 社区： 加入我们的 Discord。
如需硬件或产品集成，请通过 GitHub 联系 Edge0 团队，或发送邮件至 [email protected]。