arXiv cs.AI· Tommaso Salvatori, Matteo Forasassi, Alexis Toumi, Giovanni de Felice·· 3 天前AI 评分30
Tiny Recursive Message Passing：16k 参数模型在 Sudoku-Extreme 上达约 99% 测试准确率
Tiny Recursive Message Passing
AI 导读
研究者将递归 Transformer 的深度监督、截断递归与测试时离散演绎格等训练流程迁移到消息传递网络，发现两者互补，可在 Sudoku-Extreme 上以 16k 参数模型取得约 99% 测试准确率，H100 训练约 10 分钟、CPU 约 9 小时。
正文 · AI 翻译
摘要：消息传递神经网络在算法和约束推理方面表现出色，这得益于其能够将任务结构直接编码到架构中。近期工作表明，使用深度监督和截断递归训练的递归 Transformer 可以获得更好的结果，这使得极深的循环在训练时保持稳定，并配备了诸如离散演绎格之类的测试时程序。在这项工作中，我们将相同的程序应用于消息传递网络，并表明这两个要素是互补的，能够带来参数高效的模型：我们在 Sudoku-Extreme 上获得了约 $99\%$ 的测试准确率，模型仅有 $16$k 参数，在 H100 上训练约 $10$ 分钟，或在 CPU 上训练 $9$ 小时。我们进一步表明，截断梯度的代价随着信息穿越图所需轮数的增加而增长，使得连线的选择成为截断鲁棒性与跨问题规模迁移之间的权衡。最后，我们表明我们的模型能够零样本迁移到比训练时所见更大的实例上，在 N 皇后和布尔可满足性问题上以极少的参数量超越了流行的神经基线。
| 评论： | 27 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18649 [cs.LG] |
| （或 arXiv:2610.18649v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18649 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tommaso Salvatori [查看邮箱]
[v1]
2026年10月13日星期二 16:13:31 UTC（1,856 KB）
来源：arXiv cs.AI · arxiv.org