术语slug: on-device-model

端侧模型

On-device Model

直接在本地设备硬件上运行而非依赖云端服务器的 AI 模型

收录情报动态

共 5 篇 · 第 1/1 页
Google ResearchT1·基座大模型
68 分
谷歌推出冻结式多 Token 预测加速端侧 Gemini Nano

谷歌针对 Pixel 手机上的 Gemini Nano 模型,提出了一种将多 Token 预测(MTP)架构“冻结”并集成到现有模型中的新方法。该方案旨在解决移动端自回归生成导致的内存带宽瓶颈和能效问题,在不重新训练基础模型的前提下显著提升推理速度。