术语slug: hidden-state-reuse

隐藏状态重用

Hidden State Reuse

在推理中重新利用模型内部中间表示以提升数据效率的技术思路。

收录情报动态

共 1 篇 · 第 1/1 页
IT之家 · 智能时代T2·商业与生态
72 分
微软 14 年 AI 老将离职 称降本研究未获重视

在微软任职逾 14 年的 AI 科学家、AI Frontiers 实验室联合创始人 John Langford 已离职,核心原因是其“全带宽 Transformer”等降本增效研究在 Microsoft AI 部门未获认真考虑。该研究显示 10 亿参数模型可用更少训练数据接近常规模型 1.5 倍数据训练的效果,而字节跳动 Seed 团队随后发布的 Recycler 采用类似思路并超越参数量 2-3 倍的模型。此事折射出大厂在“堆规模”与“探索新方法”之间的路线分歧。