全带宽 Transformer

在微软任职逾 14 年的 AI 科学家、AI Frontiers 实验室联合创始人 John Langford 已离职，核心原因是其“全带宽 Transformer”等降本增效研究在 Microsoft AI 部门未获认真考虑。该研究显示 10 亿参数模型可用更少训练数据接近常规模型 1.5 倍数据训练的效果，而字节跳动 Seed 团队随后发布的 Recycler 采用类似思路并超越参数量 2-3 倍的模型。此事折射出大厂在“堆规模”与“探索新方法”之间的路线分歧。