跳到正文
Hacker News· frenchmajesty·· 5 小时前AI 评分32

Energy-Based Reasoners:推理效率提升 385 倍的循环推理模型

Energy-Based Reasoners: 385x more efficient inference

AI 导读

杜克大学、UIUC 与哈佛大学提出 Energy-Based Reasoners(EBRs),在潜在推理状态上学习能量函数,把循环更新形式化为能量梯度下降,仅 1.8M 参数即在 Sudoku-Extreme 上达到 99.9% 准确率,推理算力比次优模型少 345 倍。

正文 · AI 翻译

1杜克大学2UIUC3哈佛大学

arXiv 代码

TL;DR – 我们提出基于能量的推理器(Energy-Based Reasoners, EBRs),这是一类推理模型,它在潜在推理状态上学习一个能量函数,并将循环更新形式化为对该能量的梯度下降。其能量值无需外部验证器即可为候选预测打分,而其梯度则引导细化并提供自然的停止信号。EBRs 仅有 1.8M 参数,却在 Sudoku-Extreme 上达到 99.9% 的准确率,同时推理计算量比次优模型少 345 倍。在 N-Queens 和 Graph Coloring 上,EBRs 实现了最先进的覆盖率,同时保持接近 100% 的单样本准确率。

Learned energy landscape for one Sudoku puzzle

摘要

循环是一种强大的推理归纳偏置。通过反复迭代一个循环块,循环模型可以扩展其有效深度,并在潜在空间中实现多步推理。然而,现有的循环模型本身并不受显式的进度度量引导,这使得难以确定何时停止循环以及如何改进当前状态。为实现这一点,我们提出基于能量的推理器(EBRs),它在潜在推理状态上学习一个能量函数,并将循环更新形式化为对该能量的梯度下降。能量为潜在状态打分,而其梯度引导细化并提供停止信号。为有效训练 EBRs,我们进一步引入基于探索的训练,以发现额外的模式并在更广泛的状态集上更好地塑造能量景观。在四个算法推理基准上,EBRs 匹配或优于先前的循环推理模型,在 Sudoku-Extreme 上达到 99.9% 的准确率,同时推理计算量比次优模型少 345 倍,并保持可比的训练计算量。在所有多解基准上,EBRs 实现了对不同有效解的最先进覆盖率,同时保持接近 100% 的单样本准确率。这些结果表明,基于能量的模型是实现强推理性能的一种有前景的方法。

为何使用能量?

现有的循环推理器在更新其潜在状态时没有任何显式的评估。EBR 学习一个能量函数来引导细化、停止和选择。

打分。 能量评估推理状态 与初始棋盘 之间的兼容性。越低表示兼容性越好。

细化。 梯度将分数转化为改进方向。

停止。 一旦梯度变小,状态便趋于平稳,因此梯度可作为停止准则。

选择。 在多个候选解中,我们选择能量最低的那个。

Energy, gradient norm and residual during descent, solved vs wrong

正确解会稳定在低能量的平稳状态。 在 Sudoku-Extreme 上下降过程中的能量、梯度范数和步长。正确的轨迹以较小的梯度稳定在低能量处,而错误的轨迹则持续移动。

测试时扩展

运行更多下降步骤会进一步细化每个答案,而运行更多轨迹则为能量提供更多候选,以便从中选择能量最低的那个。

Sudoku-Extreme accuracy vs iterations with one sample (left), and vs number of samples (right)

EBRs 以少 7 倍的迭代次数(左)和少 43 倍的样本数(右)达到 EqR 的最佳准确率。

GRAM 和 TRM 来自 GRAM 的论文;EqR 来自其发布的检查点。三个随机种子的均值 ± 标准差。

自适应停止

每条轨迹一旦其能量梯度低于阈值就停止,因此简单的谜题只需几步即可完成,而困难的谜题则继续运行。

Sudoku-Extreme exact accuracy vs inference FLOPs per puzzle
方法# 参数Sudoku-Extreme ↑Maze-Hard ↑
单样本 (%)
TRM5–7M87.485.3
EqR5–7M93.0–
FPRM7M94.287.0
GRAM10M86.6–
Looped flows5–7M97.986.7
EBROurs1.8M99.487.4
多样本 (%),括号内为样本数 N
PTRM5–7M98.8(100)86.7(100)
EqR5–7M99.8(128)–
GRAM10M96.1(20)–
Looped flows5–7M99.3(5)86.9(5)
EBROurs1.8M99.9(5)88.3(5)

在推理模型中,EBR 的单样本准确率最高。仅需 5 次传递,它们就达到 99.9% 和 88.3%,领先于最多抽取 128 次的方法。每条轨迹一旦其能量梯度低于阈值就停止,可在比固定深度 EBR 少 10.9× FLOPs 的情况下保持 99.9% 的准确率,使我们能够以少 345× FLOPs 超越 EqR。

多解

EBR 的作用类似于随机梯度下降,能够捕获许多不同的解。覆盖率捕获 20 个样本找到的每个输入的不同有效解所占比例。

方法N-QueensGraph Coloring
8×810×108-vertex10-vertex
单样本Pass@1 (%) ↑Conflicts ↓
TRM66.817.5109.3170.7
GRAM99.589.78.331.3
EBROurs10099.500
20 个样本Cov@20 (%) ↑Cov@20 (%) ↑
TRM22.62.022.36.8
GRAM89.757.585.851.3
EBROurs98.192.088.654.5

Pass@1 (%) 和 Conflicts(测试图上边数求和)使用一个样本。Cov@20 是 20 个样本找到的不同有效解所占比例 (%)。基线来自 GRAM 的论文。

@misc{chen2026energybasedreasoners,
  title         = {Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model},
  author        = {Chen, William Xingxu and Gladstone, Alexi and Li, Zeyu Michael and Ji, Heng and Du, Yilun},
  year          = {2026},
  eprint        = {2611.08977},
  archivePrefix = {arXiv},
  primaryClass  = {cs.LG},
  url           = {https://arxiv.org/abs/2611.08977}
}

来源:Hacker News · energy-based-reasoners.github.io