IT之家 · 智能时代T2·72 分
微软 14 年 AI 老将离职 称降本研究未获重视
原标题:微软 14 年 AI 老将离职:称创新难落地,降本研究未获认真考虑
- Langford 认为扩大模型规模回报可预期,但不应成为唯一核心,否则会挤压探索新方法的空间。
- 其“全带宽 Transformer”通过复用内部中间状态,使 10 亿参数模型以更少数据接近常规模型 1.5 倍数据训练的表现。
- 字节跳动 Seed 团队的 Recycler 采用类似隐藏状态重用思路,在推理与数学任务上超越参数量 2-3 倍的模型。