谷歌 DeepMind 在约七周内推出第四款 Gemini 4 系列模型 Neon,定位为介于 Carbon 与 Pro 之间的中端档位,主打更快更便宜。由于蒸馏、强化学习与评测方式的影响,Neon 在部分指标上反而超过更大的 Carbon,同时 Argon 已被退役、旧版 Pro 与 Flash 全面下线。
知识蒸馏
Knowledge Distillation
用大模型输出训练小模型以迁移能力的模型压缩方法
收录情报动态
Meta 将 Muse AI 智能体的实时视频通话功能向全美用户开放,用户可与可自定义形象的动画虚拟人对话,端到端响应延迟约 870ms。技术侧通过学生模型两遍推理复现教师模型 120 遍的效果,配合 4-bit 量化、缓存与动态批处理,单张 GB200 可并发 12 路视频流,但百万级并发所需算力规模仍是其规模化落地的核心瓶颈。
蚂蚁集团开源的具身智能全栈底座“灵波”(Robbyant)在乌镇峰会展示药房分拣应用,并确认已被斯坦福李飞飞团队的 OpenWAM 框架复用。该套件包含视觉、世界模型及动作决策等多款模型,GitHub Star 超 3.3 万,下载量破 220 万次,标志着中国具身开源方案进入全球主流研发管线。
研究人员提出“权重空间编程”概念,利用 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的权重。该方法仅改动 0.016% 的参数,无需梯度训练即可将数学推理能力提升 6 倍、指令遵循能力提升 3 倍,被视为比传统蒸馏更高效的模型优化范式。
亚马逊 SageMaker AI 提供基于知识蒸馏的解决方案,旨在通过训练小型“学生”模型模仿大型“教师”模型的行为,在保持智能体任务质量的同时显著降低推理延迟与成本。该方案针对多轮调用场景下的 ROI 问题,提供了从代码仓库到文档的完整实施路径。
黑客论坛流传 Anthropic 旗舰模型 Claude Fable 5 权重泄露的兜售信息,但经社区比对证实系造假。卖家晒出的文件与 DeepSeek V4.1-Flash 开源分片完全一致,且存在区域托管错误及数据量计算矛盾。目前 Anthropic 未回应,该事件主要暴露了黑产利用知名模型热度进行诈骗的风险。
谷歌研究团队提出“睡眠框架”,通过模拟人类睡眠的记忆巩固机制,让大语言模型在部署后能持续吸收新知识而不发生灾难性遗忘。该框架将运行分为清醒与睡眠阶段,利用参数扩展、混合专家记忆块及知识蒸馏技术,实现长期知识的稳定写入与推理能力的自我提升。实验显示其在长上下文理解及多阶段持续学习中性能显著优于基线方法。
Anthropic 在 Claude 中引入“自我评估”机制,让模型在每次回答后自动判断是否协助了有害行为。该机制通过蒸馏高成本分类器的判断逻辑实现,在保持低误报率的同时显著提升了安全审查效率与准确性。
随着 Anthropic 加强 Claude 模型的推理保护,DeepSeek 和 Moonshot AI 等中国实验室已将主要蒸馏目标转向 OpenAI 的 GPT-6 Astra。这些机构利用 Astra 的输出训练了 Kimi K3.1 Pro 等新模型,尽管两家厂商均禁止提取隐藏推理步骤,但攻击者仍在不断调整策略以绕过防御。
Google 开源了基于 Gemma 4 的 EmbeddingGemma 2,这是一个支持文本、代码、图像、音频和视频的统一向量空间嵌入模型。该模型参数量仅 744M,在 Pixel 11 Pro 上全量运行仅需约 567MB 内存,性能超越许多大 2-12 倍的模型,显著提升了端侧隐私搜索能力。