能量推理器实现 385 倍推理效率提升

原标题:Energy-Based Reasoners: 385x more efficient inference
78AI 研判分

研究者提出能量推理器(EBRs),在潜空间上学习能量函数,将循环推理更新形式化为能量梯度下降,并利用能量值作为停止信号。在四个算法推理基准上,EBRs 匹配或超越现有循环推理模型,在 Sudoku-Extreme 上以 99.9% 准确率实现 345 倍推理算力节省,并在多解任务上达到最优解覆盖率。

报道正文

循环是一种强大的归纳偏置,有助于推理。通过反复迭代一个循环块,循环模型可以扩展其有效深度,并在潜空间中实现多步推理。然而,现有的循环模型本身并不受显式进度度量的引导,因此难以确定何时停止循环以及如何改进当前状态。为实现这一点,我们引入了基于能量的推理器(EBRs),它学习潜推理状态上的能量函数,并将循环更新表述为对该能量的梯度下降。能量对潜状态进行评分,而其梯度引导细化并提供停止信号。为了有效训练 EBRs,我们进一步引入了基于探索的训练,以发现额外的模式,并在更广泛的状态集合上更好地塑造能量景观。在四个算法推理基准上,EBRs 匹配或优于先前的循环推理模型,在 Sudoku-Extreme 上达到 99.9% 的准确率,同时推理计算量比次优模型少 345 倍,并保持可比的训练计算量。在所有多解基准上,EBRs 在保持接近 100% 单样本准确率的同时,实现了对不同有效解的最先进覆盖。这些结果表明,基于能量的模型是实现强推理性能的一种有前景的方法。