arXiv cs.AI· Syed Affan Daimi·· 23 小时前AI 评分31
Proximal Targets:让循环精炼模型学会处理多解问题
Proximal Targets: Training Looped Refiners on Problems with Many Correct Answers
AI 导读
针对 HRM、TRM 等循环精炼模型在多解问题上因深度监督指向单一存储答案而产生损失下限的问题,研究者提出 proximal target:每一轮都朝距其自身输入最近的正确答案训练。
正文 · AI 翻译
摘要:HRM 和 TRM 等循环精炼器会对一个草稿答案反复应用一个小型网络,而深度监督会训练每一次迭代都朝向每个谜题存储的一个答案。我们证明,当一个谜题有多个正确答案时,这一目标会设定一个任何模型容量都无法消除的损失下限,并且使损失最小的迭代会把答案混合成一个无效的网格。我们提出近端目标:训练每一次迭代都朝向离其自身输入最近的正确答案,该答案可通过扫描答案列表、从草稿启动的搜索求解器,或在由旋钮设定的质量范围内找到;正确答案成为不动点,而一次迭代只需比其输入产生更少的错误,循环即可收敛,这一点由其训练损失所界定。在相同的 170 万参数网络和 5 个随机种子下,近端目标解决了 98.8% 的有 2-64 个答案的数独谜题(标准目标:2.5%),在没有任何答案列表的情况下解决了 93.8% 的有超过 10,000 个答案的稀疏谜题(0.0%),以及在最多 50 个节点的图上训练后解决了 90.9% 的 200 节点三着色问题(36.9%),并且不同的随机起点会得到不同的答案。与随机潜变量推理器 GRAM 相比,单次运行的正确率要高得多(98.8% 对 57.7%),二十次运行能找到更多答案(53.6% 对 37.4%),而 GRAM 在其自己的 10 节点着色基准上略胜一筹;在 Scrabble 中,该旋钮变成了一个经过校准的强度调节盘。
| 学科: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.22737 [cs.AI] |
| (或 arXiv:2611.22737v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.22737 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Syed Daimi Affan [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 13:07:46 UTC(320 KB)
来源:arXiv cs.AI · arxiv.org