术语slug: on-device-inference

端侧推理

On-Device Inference

在本地设备上直接运行模型推理,避免云端调用延迟与数据外传

收录情报动态

共 56 篇 · 第 1/6 页
Rohan Paul (@rohanpaul_ai)T2·基座大模型
72 分
Reson8 发布 1GB 端侧语音模型 Rumble-2-Flash

阿姆斯特丹初创公司 Reson8 发布 Rumble-2-Flash,仅 0.5B 参数、约 1GB 体积,可在手机端离线运行,覆盖 45 种语言并以 Apache 2.0 免费开源。该模型主打重口音、多人重叠、劣质电话线路与街头噪声等传统转写工具的失效场景,官方称其表现超过体积大 20 倍的模型。

IT之家 · 智能时代T2·基座大模型
62 分
微信小微日活 3000 万 推理成本将低于元宝

腾讯总裁刘炽平在业绩会上披露,微信 AI 助手“小微”测试池日活已达 3000 万,全面上线后季度成本将低于今年早些时候元宝的季度成本。小微采用定制 WeLM 模型(80B 总参数、3B 激活参数),官方称推理成本极低且持续下降,并预计部分推理任务将迁移至用户设备端运行。

IT之家 · 智能时代T2·商业与生态
78 分
微信 AI 助理小微日活达 3000 万

微信官方宣布,私人 AI 助理“小微”测试范围扩大,日活跃用户数已达 3000 万,并逐步融入聊天、朋友圈、公众号、视频号等高频场景。小微基于定制 WeLM 模型,主打低推理成本,未来部分推理任务预计下沉至设备端运行。

Hacker News AIT2·基座大模型
88 分
1450 亿参数端侧模型 Edge0-145B 开源

AutoArk 开源 Edge0-145B 与 Edge0-120B 两款端侧模型,其中 145B 版本号称全球首个可在个人电脑本地运行的 1450 亿参数开源模型,峰值内存约 29GB、解码速度超 80 tokens/s。官方称其编码、推理与智能体能力可对标部分前沿云端模型,并同步发布统一推理框架与部署工具,核心能力可离线使用、无需账号或配额。

Hugging Face BlogT1·智能体与协同
62 分
BotPsy 发布 10 亿参数内端侧智能体助手

Hugging Face 团队发布 BotPsy,一款参数量低于 10 亿的端侧个人助理智能体模型,目标是以本地推理替代高成本、易波动的云端大模型调用。文章给出 ToolSandbox、GPQA Diamond、MMLU-Pro、IFEval 等多套基准的评测口径,强调在受限参数规模下兼顾工具调用与通用能力。

IT之家 · 智能时代T2·智能体与协同
62 分
苹果 Siri 约 2% 英文请求改由本地模型处理

苹果在 iOS/macOS 27.3 首个开发者预览版中为 Siri AI 引入名为 Skimmer 的前置模块,首次将约 2% 的英文请求路由至本地模型处理,主要覆盖定时器、播放音乐、拨打电话等高频固定指令。该模块通过正则表达式匹配预设工具流程,命中后直接执行,跳过复杂 AI 推理,以降低延迟并保护隐私。