Rohan Paul (@rohanpaul_ai)T2·78 分
Meta MIT 研究:循环复用 Transformer 层可提升模型性能
原标题:New Meta and MIT paper finds reusing a transformer's layers in loops can beat a plain model.
- 循环复用整个网络堆栈在固定参数量下能获得最佳质量
- 在算力受限时,仅循环中间层是更优的训练策略
- 每循环添加微小适配器仅增加 1.1%-4.3% 参数,远低于加深网络的开销