Rohan Paul (@rohanpaul_ai)T2·68 分
SanSi 提出循环推理架构:1.4B 小模型通过复用层迭代决策,准确率超越 4.2B 单遍模型
原标题:This paper finds that small decision models get far more accurate by rerunning the same layers sever...
- SanSi 允许模型在 1 到 8 次循环间动态停止,每次循环均输出选项概率,实现自适应计算量。
- 在相同形状对比中,循环机制带来约 13.6% 的绝对准确率提升,代价是 7.7 倍计算量。
- 对于需要多步依赖关系的决策任务,循环小模型比单纯增大参数量更具备性价比优势。