术语slug: knowledge-distillation

知识蒸馏

Knowledge Distillation

用大模型输出训练小模型以迁移能力的模型压缩方法

收录情报动态

共 47 篇 · 第 1/5 页
Latent SpaceT1·基座大模型
78 分
谷歌 DeepMind 发布 Gemini 4 Neon 中端模型

谷歌 DeepMind 在约七周内推出第四款 Gemini 4 系列模型 Neon,定位为介于 Carbon 与 Pro 之间的中端档位,主打更快更便宜。由于蒸馏、强化学习与评测方式的影响,Neon 在部分指标上反而超过更大的 Carbon,同时 Argon 已被退役、旧版 Pro 与 Flash 全面下线。

Rohan Paul (@rohanpaul_ai)T2·智能体与协同
78 分
Meta 向全美用户开放 Muse AI 智能体实时视频通话

Meta 将 Muse AI 智能体的实时视频通话功能向全美用户开放,用户可与可自定义形象的动画虚拟人对话,端到端响应延迟约 870ms。技术侧通过学生模型两遍推理复现教师模型 120 遍的效果,配合 4-bit 量化、缓存与动态批处理,单张 GB200 可并发 12 路视频流,但百万级并发所需算力规模仍是其规模化落地的核心瓶颈。

InfoQ 中文T2·智能体与协同
68 分
蚂蚁灵波具身大脑开源获李飞飞团队复用

蚂蚁集团开源的具身智能全栈底座“灵波”(Robbyant)在乌镇峰会展示药房分拣应用,并确认已被斯坦福李飞飞团队的 OpenWAM 框架复用。该套件包含视觉、世界模型及动作决策等多款模型,GitHub Star 超 3.3 万,下载量破 220 万次,标志着中国具身开源方案进入全球主流研发管线。

AWS Machine Learning BlogT1·开发与工程
48 分
SageMaker 推出智能体知识蒸馏方案 降低推理成本

亚马逊 SageMaker AI 提供基于知识蒸馏的解决方案,旨在通过训练小型“学生”模型模仿大型“教师”模型的行为,在保持智能体任务质量的同时显著降低推理延迟与成本。该方案针对多轮调用场景下的 ROI 问题,提供了从代码仓库到文档的完整实施路径。

宝玉 (@dotey)T2·基座大模型
45 分
网传 Claude Fable 5 权重遭窃实为 DeepSeek 开源文件

黑客论坛流传 Anthropic 旗舰模型 Claude Fable 5 权重泄露的兜售信息,但经社区比对证实系造假。卖家晒出的文件与 DeepSeek V4.1-Flash 开源分片完全一致,且存在区域托管错误及数据量计算矛盾。目前 Anthropic 未回应,该事件主要暴露了黑产利用知名模型热度进行诈骗的风险。

IT之家 · 智能时代T2·基座大模型
88 分
谷歌发布睡眠框架,解决大模型持续学习遗忘难题

谷歌研究团队提出“睡眠框架”,通过模拟人类睡眠的记忆巩固机制,让大语言模型在部署后能持续吸收新知识而不发生灾难性遗忘。该框架将运行分为清醒与睡眠阶段,利用参数扩展、混合专家记忆块及知识蒸馏技术,实现长期知识的稳定写入与推理能力的自我提升。实验显示其在长上下文理解及多阶段持续学习中性能显著优于基线方法。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
85 分
Google 发布 EmbeddingGemma 2 端侧多模态嵌入模型

Google 开源了基于 Gemma 4 的 EmbeddingGemma 2,这是一个支持文本、代码、图像、音频和视频的统一向量空间嵌入模型。该模型参数量仅 744M,在 Pixel 11 Pro 上全量运行仅需约 567MB 内存,性能超越许多大 2-12 倍的模型,显著提升了端侧隐私搜索能力。