阿姆斯特丹初创公司 Reson8 发布 Rumble-2-Flash,仅 0.5B 参数、约 1GB 体积,可在手机端离线运行,覆盖 45 种语言并以 Apache 2.0 免费开源。该模型主打重口音、多人重叠、劣质电话线路与街头噪声等传统转写工具的失效场景,官方称其表现超过体积大 20 倍的模型。
端侧推理
On-Device Inference
在本地设备上直接运行模型推理,避免云端调用延迟与数据外传
收录情报动态
腾讯总裁刘炽平在业绩会上披露,微信 AI 助手“小微”测试池日活已达 3000 万,全面上线后季度成本将低于今年早些时候元宝的季度成本。小微采用定制 WeLM 模型(80B 总参数、3B 激活参数),官方称推理成本极低且持续下降,并预计部分推理任务将迁移至用户设备端运行。
微信官方宣布,私人 AI 助理“小微”测试范围扩大,日活跃用户数已达 3000 万,并逐步融入聊天、朋友圈、公众号、视频号等高频场景。小微基于定制 WeLM 模型,主打低推理成本,未来部分推理任务预计下沉至设备端运行。
AutoArk 开源 Edge0-145B 与 Edge0-120B 两款端侧模型,其中 145B 版本号称全球首个可在个人电脑本地运行的 1450 亿参数开源模型,峰值内存约 29GB、解码速度超 80 tokens/s。官方称其编码、推理与智能体能力可对标部分前沿云端模型,并同步发布统一推理框架与部署工具,核心能力可离线使用、无需账号或配额。
Hugging Face 团队发布 BotPsy,一款参数量低于 10 亿的端侧个人助理智能体模型,目标是以本地推理替代高成本、易波动的云端大模型调用。文章给出 ToolSandbox、GPQA Diamond、MMLU-Pro、IFEval 等多套基准的评测口径,强调在受限参数规模下兼顾工具调用与通用能力。
苹果在 iOS/macOS 27.3 首个开发者预览版中为 Siri AI 引入名为 Skimmer 的前置模块,首次将约 2% 的英文请求路由至本地模型处理,主要覆盖定时器、播放音乐、拨打电话等高频固定指令。该模块通过正则表达式匹配预设工具流程,命中后直接执行,跳过复杂 AI 推理,以降低延迟并保护隐私。
安全研究者披露,自 macOS 13 起每台 Mac 都内置一对未公开的守护进程,持续构建关于用户身份、人际关系、通信与行为轨迹的个人知识图谱,服务于 Apple Intelligence 的个性化能力。研究者同时发布工具,允许用户查看自己设备上的图谱内容。
Underdog 发布仅 31.7MB 的文本转语音模型 Woof,并以其为核心做了一款可在浏览器直接运行的小游戏作为演示,主打端侧本地推理、对标云端方案。该公司同时透露一款可在笔记本上运行的 270 亿参数模型及本地化应用。
淘宝 MNN 团队发布并开源约 0.3B 参数的 MNN-Pocket-0.3B,面向手机应用原生场景,将模型结构、词表、训练数据、后训练与量化推理引擎协同优化。官方称在 iPhone 18 Pro 上离线解码可达 350 token/s,峰值内存低于 300MB,目标是在业务场景上逼近 8B 级模型效果。
Gradium 团队在 Hugging Face 发布开源小型 TTS 模型 Phonon,完全在本地设备运行,无需服务器与网络,用户输入内容不出设备。官方称其在 Hugging Face Open TTS Leaderboard 上表现领先,并同步开放在线 Demo 供试用。