InfoQ 中文T2·88 分
LeCun 新论文挑战 Scaling Law:小参数 JEPA 模型表征对齐优于大 LLM
原标题:66 岁 Yann LeCun 发新论文挑战 Scaling Law:1.09 亿参数胜过 720 亿,模型越大不一定越懂世界
- 1.09 亿参数的 JEPA 模型在跨模态表征对齐测试中击败了 720 亿参数的传统 LLM,参数效率提升约 660 倍。
- 新方法仅需 2160 万训练样本即可达到传统下一 Token 预测模型使用 9 亿样本的效果,数据效率提升约 42 倍。
- 研究证实了不同模态独立训练的模型可收敛至相似的世界表征,支持 LeCun 长期倡导的非生成式世界模型路线。