谷歌推出冻结式多 Token 预测加速端侧 Gemini Nano

原标题:Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction
68AI 研判分

谷歌针对 Pixel 手机上的 Gemini Nano 模型,提出了一种将多 Token 预测(MTP)架构“冻结”并集成到现有模型中的新方法。该方案旨在解决移动端自回归生成导致的内存带宽瓶颈和能效问题,在不重新训练基础模型的前提下显著提升推理速度。

报道正文

本文目录7 个章节

在手机上直接运行强大的大语言模型(LLM)如今已成为现实,这得益于 Gemini Nano 和 Gemma 等端侧模型。这项技术让手机上的日常功能得以实现——例如即时汇总大量通知或校对重要短信——而无需将你的私密数据传出设备。然而,为了让这些功能对普通用户真正实用,它们必须以极高的效率运行。

在移动设备上实现这种速度是一项重大挑战。与庞大的服务器环境不同,智能手机受到严格的能耗预算和内存(RAM)硬性限制。此外,标准语言模型采用“自回归”方式生成文本——即一次仅处理并输出一个词(或 token)。这种逐步生成的过程形成了瓶颈,导致手机的算力未被充分利用,同时加剧了内存带宽的压力,最终可能拖慢用户体验并消耗更多电量。

为了突破这一瓶颈,我们宣布推出一种新架构,该架构将多 Token 预测(Multi-Token Prediction, MTP)技术应用于现有的、参数“冻结”的 Gemini Nano v3 模型上。基于 EAGLE 框架 和 置信自适应语言建模 (CALM) 等先前方法,我们设计了新的架构组件,以专门针对移动环境最大化这些效率增益。我们近期的公告重点介绍了通过 MTP 加速 Gemma 4 并向开发者开放的相关工作。

今天的文章聚焦于边缘计算所面临的独特且极端的约束条件。该方法近期已在 Pixel 9 和 10 系列设备上推出,作为一种开箱即用的加速方案发挥作用。对用户而言,这意味着 AI 通知摘要和文本校对等功能能以显著更快的速度生成文本,且能耗更低。对开发者而言,它消除了一大痛点:无需为每个新任务单独微调占用大量内存的草稿模型,即可提供高速的端侧 AI 体验。

“提前退出”策略

MTP 建立在推测解码演进的基础之上。在传统设置中,生成 N 个 token 需要大模型进行 N 次前向传播。推测解码将这一过程解耦为两个部分:

  1. 草稿(Draft): 一个更小、更快的近似模型(即“草稿模型”)生成一小段候选 token 序列(例如 3 个 token)。
  2. 验证(Verify): 大模型(即“验证模型”)并行处理这些候选项。如果候选项与大模型原本预测的结果一致,则予以接受;否则,系统回滚至第一个分歧点。

然而,这种方式存在某些效率低下的问题。运行一个独立的“独立”草稿模型(例如拥有 1.28 亿参数)会与主模型争夺有限的 RAM 资源。此外,独立草稿模型对主模型丰富的内部状态是“盲目”的,它仅基于文本历史来预测下一个 token,而无法利用主模型已经计算出的语义上下文。MTP 通过从独立架构转向集成架构来解决这些效率低下问题。我们不再单独训练一个小语言模型来生成草稿 token,而是在主模型的最终层附加一个轻量级的 Transformer 头,即 MTP 头。

这种使用深层退出层进行草稿生成的架构,充分利用了主模型骨干网络已完成的工作。MTP 头接收主模型最终的高维激活值(隐藏状态),并利用它们自回归地预测未来的 token 序列。

冻结骨干网络的优势

虽然 MTP 头通常与骨干网络联合预训练——例如在我们最近发布的 Gemma 4 模型中就是这样做的——但在利用已部署的设备端基础模型时,这种做法是不可行的。因此,我们的工作重点在于改造草稿头,使其能够独立于预训练流程运行。

我们采用一个完全训练好的 Gemini Nano v3 模型,冻结其权重,并在最终层附加一个稠密 Transformer 堆栈——即 MTP 头。我们仅训练这些参数,以最小化对未来 token 的预测误差。由于骨干网络被冻结,MTP 严格来说成为一种效率优化手段,确保不会降低基础模型的能力或安全对齐水平。

由于在验证阶段会丢弃不正确的草稿,最终输出与主模型保持逐位一致(bit-for-bit identical),这使我们能够在完全向后兼容的前提下部署效率更新。

零拷贝架构

虽然标准 MTP 实现通过在主模型和草稿模型之间共享静态参数(如嵌入权重)来优化训练效率,但端侧推理面临着更严格的瓶颈:动态内存。即使共享权重,如果草稿模型独立处理上下文,它也会因生成和维护自己的 键值(KV)缓存而在内存上产生“双重开销”。鉴于移动设备有限的内存资源,避免这种冗余至关重要。

为解决这一问题,我们设计了一种零拷贝架构,使 MTP 头能够有效地利用主模型的状态。MTP 头不再维护自己的历史记录,而是被设计为直接对主模型的冻结 KV 缓存进行交叉注意力(cross-attend)。这使得草稿模型能够查询骨干网络已经计算好的“记忆”和上下文,而无需重复存储。

这种设计带来了两项效率提升。首先,它消除了草稿模型的预填充延迟:通过利用现有缓存,该头部无需额外时间来处理提示词。其次,它减少了运行时内存占用。通过节省草稿模型的嵌入查找表、预填充点积注意力变体以及特定应用的调优参数,我们观察到每个实例相比独立草稿模型节省了 130MB 内存。

解锁更丰富的表征

在我们的实验中,我们发现 MTP 草稿模型始终能生成更准确的 token 预测,从而在 Pixel 9 设备上实现了 50% 或更高的加速aef552,相比之下,参数量相当的“独立草稿模型”表现较差。

这一性能差距源于 MTP 能够访问更丰富的表征。与将主模型视为黑盒的独立草稿模型不同,MTP 头直接利用了由更大骨干网络处理后的最终激活值:

  • 指令遵循: 在摘要或带有复杂约束的重写等任务中,MTP 显著优于经过微调的独立草稿模型。
  • 可预测的文本结构: 对于具有高结构可预测性的任务(例如智能回复),MTP 头有效学习了主模型的句法模式,token 接受率提升了高达 55%。

实际影响

为了在 Pixel 9 和 10 设备上部署 MTP,我们重新设计了端侧推理栈,以处理验证阶段与草稿生成阶段之间复杂的依赖关系。

结果证实了架构选择的正确性。在生产工作负载中(例如 AI 通知摘要和校对功能),MTP 每次推理平均能正确预测近两个额外的 token。此外,更少的验证步骤意味着唤醒重型处理器的时间减少,从而降低了能耗并改善了电池续航。

未来方向

我们期待在未来的 Pixel 设备上集成 MTP,同时探索替代架构——包括并行解码以及无需辅助头(auxiliary heads)的范式——以在严格的移动端约束下进一步降低草稿延迟并提高并行 token 验证能力。

我们也在研究更高效地处理语言生成固有歧义性的方法。虽然标准的投机解码(speculative decoding)假设存在单一的最佳未来路径,但我们正在开发允许模型并行探索分支可能性的技术。这旨在即使在不确定语境下,也能最大化接受长序列的概率。此外,我们正在研究验证宽松度(verification leniency):针对特定用例放宽草稿与验证之间严格的精确 token 匹配要求,从而为边缘计算带来进一步的效率提升。

致谢

这项工作是我们优化端侧 LLM 效率努力的一部分,主要贡献者包括 Filippo Galgani、Omri Homburger、Pooja Consul、Matthew Markwell 和 Vivek Kumar。某些要素基于 Google DeepMind Gemini 团队的开发成果:Tal Schuster、Ziwei Ji、Ivan Korotkov 和 Ganesh Jawahar。我们还要向 Nadav Bar、Utku Evci、Nir Shabat、Joe Zou 以及来自 Google Research、Google DeepMind 和 Platforms & Devices 的团队致以诚挚感谢,感谢他们的审阅、宝贵反馈与支持。