Energy-Based Reasoners:推理效率提升 385 倍的循环推理模型
Energy-Based Reasoners: 385x more efficient inference
杜克大学、UIUC 与哈佛大学提出 Energy-Based Reasoners(EBRs),在潜在推理状态上学习能量函数,把循环更新形式化为能量梯度下降,仅 1.8M 参数即在 Sudoku-Extreme 上达到 99.9% 准确率,推理算力比次优模型少 345 倍。
1杜克大学2UIUC3哈佛大学
TL;DR – 我们提出基于能量的推理器(Energy-Based Reasoners, EBRs),这是一类推理模型,它在潜在推理状态上学习一个能量函数,并将循环更新形式化为对该能量的梯度下降。其能量值无需外部验证器即可为候选预测打分,而其梯度则引导细化并提供自然的停止信号。EBRs 仅有 1.8M 参数,却在 Sudoku-Extreme 上达到 99.9% 的准确率,同时推理计算量比次优模型少 345 倍。在 N-Queens 和 Graph Coloring 上,EBRs 实现了最先进的覆盖率,同时保持接近 100% 的单样本准确率。
摘要
循环是一种强大的推理归纳偏置。通过反复迭代一个循环块,循环模型可以扩展其有效深度,并在潜在空间中实现多步推理。然而,现有的循环模型本身并不受显式的进度度量引导,这使得难以确定何时停止循环以及如何改进当前状态。为实现这一点,我们提出基于能量的推理器(EBRs),它在潜在推理状态上学习一个能量函数,并将循环更新形式化为对该能量的梯度下降。能量为潜在状态打分,而其梯度引导细化并提供停止信号。为有效训练 EBRs,我们进一步引入基于探索的训练,以发现额外的模式并在更广泛的状态集上更好地塑造能量景观。在四个算法推理基准上,EBRs 匹配或优于先前的循环推理模型,在 Sudoku-Extreme 上达到 99.9% 的准确率,同时推理计算量比次优模型少 345 倍,并保持可比的训练计算量。在所有多解基准上,EBRs 实现了对不同有效解的最先进覆盖率,同时保持接近 100% 的单样本准确率。这些结果表明,基于能量的模型是实现强推理性能的一种有前景的方法。
为何使用能量?
现有的循环推理器在更新其潜在状态时没有任何显式的评估。EBR 学习一个能量函数来引导细化、停止和选择。
打分。 能量评估推理状态 与初始棋盘 之间的兼容性。越低表示兼容性越好。
细化。 梯度将分数转化为改进方向。
停止。 一旦梯度变小,状态便趋于平稳,因此梯度可作为停止准则。
选择。 在多个候选解中,我们选择能量最低的那个。
正确解会稳定在低能量的平稳状态。 在 Sudoku-Extreme 上下降过程中的能量、梯度范数和步长。正确的轨迹以较小的梯度稳定在低能量处,而错误的轨迹则持续移动。
测试时扩展
运行更多下降步骤会进一步细化每个答案,而运行更多轨迹则为能量提供更多候选,以便从中选择能量最低的那个。
EBRs 以少 7 倍的迭代次数(左)和少 43 倍的样本数(右)达到 EqR 的最佳准确率。
GRAM 和 TRM 来自 GRAM 的论文;EqR 来自其发布的检查点。三个随机种子的均值 ± 标准差。
自适应停止
每条轨迹一旦其能量梯度低于阈值就停止,因此简单的谜题只需几步即可完成,而困难的谜题则继续运行。
| 方法 | # 参数 | Sudoku-Extreme ↑ | Maze-Hard ↑ |
|---|---|---|---|
| 单样本 (%) | |||
| TRM | 5–7M | 87.4 | 85.3 |
| EqR | 5–7M | 93.0 | – |
| FPRM | 7M | 94.2 | 87.0 |
| GRAM | 10M | 86.6 | – |
| Looped flows | 5–7M | 97.9 | 86.7 |
| EBROurs | 1.8M | 99.4 | 87.4 |
| 多样本 (%),括号内为样本数 N | |||
| PTRM | 5–7M | 98.8(100) | 86.7(100) |
| EqR | 5–7M | 99.8(128) | – |
| GRAM | 10M | 96.1(20) | – |
| Looped flows | 5–7M | 99.3(5) | 86.9(5) |
| EBROurs | 1.8M | 99.9(5) | 88.3(5) |
在推理模型中,EBR 的单样本准确率最高。仅需 5 次传递,它们就达到 99.9% 和 88.3%,领先于最多抽取 128 次的方法。每条轨迹一旦其能量梯度低于阈值就停止,可在比固定深度 EBR 少 10.9× FLOPs 的情况下保持 99.9% 的准确率,使我们能够以少 345× FLOPs 超越 EqR。
多解
EBR 的作用类似于随机梯度下降,能够捕获许多不同的解。覆盖率捕获 20 个样本找到的每个输入的不同有效解所占比例。
| 方法 | N-Queens | Graph Coloring | ||
|---|---|---|---|---|
| 8×8 | 10×10 | 8-vertex | 10-vertex | |
| 单样本 | Pass@1 (%) ↑ | Conflicts ↓ | ||
| TRM | 66.8 | 17.5 | 109.3 | 170.7 |
| GRAM | 99.5 | 89.7 | 8.3 | 31.3 |
| EBROurs | 100 | 99.5 | 0 | 0 |
| 20 个样本 | Cov@20 (%) ↑ | Cov@20 (%) ↑ | ||
| TRM | 22.6 | 2.0 | 22.3 | 6.8 |
| GRAM | 89.7 | 57.5 | 85.8 | 51.3 |
| EBROurs | 98.1 | 92.0 | 88.6 | 54.5 |
Pass@1 (%) 和 Conflicts(测试图上边数求和)使用一个样本。Cov@20 是 20 个样本找到的不同有效解所占比例 (%)。基线来自 GRAM 的论文。
@misc{chen2026energybasedreasoners,
title = {Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model},
author = {Chen, William Xingxu and Gladstone, Alexi and Li, Zeyu Michael and Ji, Heng and Du, Yilun},
year = {2026},
eprint = {2611.08977},
archivePrefix = {arXiv},
primaryClass = {cs.LG},
url = {https://arxiv.org/abs/2611.08977}
}来源:Hacker News · energy-based-reasoners.github.io