arXiv cs.AI· Benjamin Hoover, Hugh Blayney, James C. R. Whittington·· 1 天前AI 评分34
经典能量模型 CRAM 推理速度比循环模型快 1,000 倍
Classical Energies Learn to Reason 1,000x Faster than Looped Models
AI 导读
研究者提出 CRAM——一种学习版的 Hopfield & Tank 80 年代能量模型,在单块 GPU 上训练 42 ms 和 132 ms 后分别解出 99.996% 的 Sudoku-Extreme 和 100% 的 Maze-Unique 测试题,比循环模型至少快 1,000 倍。
正文 · AI 翻译
摘要:循环模型已成为推理领域的重要范式,在数独-极限(Sudoku-Extreme)和迷宫-唯一(Maze-Unique)等简单推理谜题上取得了成功。然而,这些模型可能不稳定、训练缓慢,并且需要大量参数和 FLOPs 才能解决简单谜题。在能量函数上做下降不仅能缓解这些问题,还带来优势:内置提前停止、计算量随问题难度自适应、无需通过求解器求导即可快速训练,以及可解释的权重能够学习谜题的约束条件。在此,我们用一个学习版本的 Hopfield & Tank 上世纪 80 年代的能量函数来演示这一点,我们称之为 CRAM,它在单块 GPU 上训练 42 毫秒和 132 毫秒后,分别解决了 99.996% 的数独-极限和 100% 的迷宫-唯一测试谜题,在这些任务上至少比循环模型快 1,000 倍。CRAM 在数独-极限上以至少少 282 倍的推理 FLOPs 达到了基线循环模型的最高准确率。我们的工作表明两点。第一,能量函数是从数据中训练推理的一个极具前景的方向。第二,要警惕使用数独和迷宫这类可轻易求解的基准来测试循环推理技术的可扩展性。
| 学科: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.17309 [cs.AI] |
| (或 arXiv:2611.17309v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.17309 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Benjamin Hoover [查看邮箱]
[v1]
2026年11月12日星期四 18:56:56 UTC(1,687 KB)
来源:arXiv cs.AI · arxiv.org