Meta MIT 研究：循环复用 Transformer 层可提升模型性能
原标题：New Meta and MIT paper finds reusing a transformer's layers in loops can beat a plain model.
78AI 研判分
Meta 与 MIT 最新论文证实，通过循环复用 Transformer 的特定层，可在不增加参数量的前提下显著提升模型深度与性能。该研究在 10 亿参数规模上验证了不同循环策略的效果，并引入轻量级适配器以优化并行解码效率。
报道正文
Rohan Paul (@rohanpaul_ai) · 2026-11-02 11
Meta 与 MIT 的最新论文发现，通过循环复用 Transformer 的层，性能可以超越普通模型。
“循环”机制是指多次运行相同的层，从而在不增加参数量的情况下提升模型的深度。但每次循环都会消耗算力，且通常需要对每个 token 按顺序执行。
研究人员在高达 155B tokens 的数据上训练了参数量最高达 1B 的稠密模型，测试了循环的位置及次数。此外，他们还引入了微小的逐循环适配器（per-loop adapters），并修复了一种并行循环方法，使得在解码阶段可以同时进行多个循环。
实验表明，在固定模型规模下，对整个堆栈进行循环能获得最佳质量；而在训练算力受限时，对中间层进行循环的收益最大。逐循环适配器仅增加了 1.1% 到 4.3% 的参数量（相比之下，将深度翻倍会增加 51.4% 的参数量），并且随着循环次数的增加，其效果愈发显著。
