术语slug: model-distillation

模型蒸馏

Model Distillation

用强模型输出训练较弱模型以迁移能力的技术,被用于绕开算力与模型访问限制

收录情报动态

共 14 篇 · 第 1/2 页
IT之家 · IT业界T2·商业与生态
71 分
字节跳动洽谈 5 亿美元 Azure 合同引 OpenAI 不满

字节跳动正与微软深入谈判,计划追加约 5 亿美元 Azure 云服务采购,其中大部分支出将用于调用 OpenAI 模型。由于微软拥有通过 Azure 转售 OpenAI 技术的授权且未对中国企业设限,OpenAI 担忧此举可能被用于模型蒸馏,已向微软表达不满。微软表示未发现字节跳动存在蒸馏行为的证据,并称其主要用于软件开发等任务。

The DecoderT2·商业与生态
78 分
美国拟封堵中国海外租用算力漏洞

美国商务部工业与安全局正着手封堵中国企业通过第三国数据中心合法租用英伟达算力的通道,并威胁对隐蔽的模型蒸馏行为实施制裁与实体清单处罚。调查显示,中国已围绕美国模型输出构建起一条完整的蒸馏产业链,以对冲多年芯片禁运的影响。

IT之家 · 智能时代T2·智能体与协同
72 分
字节跳动计划推出类 Meta Muse 智能体助手

据彭博社报道,字节跳动计划在未来几周内推出一款类似 Meta Muse 的 AI 助手,由联合创始人张一鸣亲自推动,目标是在三年左右缩小与美国顶尖实验室的差距。张一鸣同时坦言 Seed 系列模型的预训练数据规模比美国对手小数个数量级,并强调不应过度依赖模型蒸馏。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
85 分
Meta 提出 WM-Basin 检测蒸馏模型水印残留

Meta 最新研究指出,从带水印 API 输出中蒸馏的模型会在权重中保留隐藏的密钥特定痕迹。新方法 WM-Basin 通过分析文本梯度与固定探针模型的匹配度,在低误报率下将检测准确率提升至 79%,显著优于传统基于 Token 计数的方法,且对量化和剪枝具有鲁棒性。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
86 分
Meta 发布 Muse Glimmer 30B 单卡运行智能体

Meta 推出从 Muse Spark 蒸馏的 30B 密集模型 Muse Glimmer,专为本地智能体任务优化。该模型经合成数据训练,4-bit 量化后仅需不到 20GB 显存即可在单张 RTX 5090 上运行。在多工具测试 MCPAtlas 中得分显著超越同级开源模型,但在 OSWorld 基准上仍略逊于 Qwen3.6-27B。

InfoQ 中文T2·开发与工程
78 分
OpenCode 密钥泄露致 API 盗刷,官方归因蒸馏攻击遭质疑

开源 AI 编程工具 OpenCode 旧系统遭未授权访问,导致 1.4% 用户 API 密钥明文泄露并引发大规模盗刷。Anthropic、OpenAI 和 Google 紧急撤销部分密钥并介入善后。官方将事故归咎于“模型蒸馏攻击”,但因缺乏最小权限与轮换机制等基础安全缺陷,该解释在社区中受到广泛质疑。

The DecoderT2·商业与生态
78 分
Anthropic 部署反蒸馏防御体系:通过分类器拦截使 Claude 推理链窃取量骤降 90% 至 99%

Anthropic 公布针对工业级模型蒸馏攻击的最新防御成果,通过部署专用检测分类器与自动封禁机制,将 Claude 内部思维链(CoT)被系统性提取的规模削减了 90% 至 99%。该防御体系专门应对利用数十万虚假账号进行的自动化数据窃取行为,旨在保护核心推理能力不被竞争对手用于训练小型模型。尽管误伤合法用户的问题依然存在,但这一举措标志着大模型厂商在知识产权防护与对抗性安全领域的技术升级。

IT之家 · 智能时代T2·基座大模型
68 分
Anthropic 部署反蒸馏防护:拦截推理链提取使窃取数据量降低 99%,误报率低于 0.1%

Anthropic 推出针对模型蒸馏攻击的新型防护机制,通过限制外界获取 Claude 的推理过程,将攻击者可提取的推理词元数量降低至原来的 1% 到 10%。该系统在拦截大规模信息提取的同时保持了极低的误报率(<0.1%),并以此为由封禁了数万个相关账号,包括指控智谱 AI 在研发 GLM-5.3 期间尝试从 Claude 蒸馏能力。