arXiv cs.AI· Amin Najafgholizadeh, Mohsen Afsharchi·· 3 天前AI 评分24
循环算法推理器为何在深图上"提前泛滥"：拟合所有训练提示仍不够
Fitting Every Hint Is Not Enough: Premature Floods in Recurrent Algorithmic Reasoners
AI 导读
循环算法推理器在小图上按步训练提示、在大图上运行更多步时，即使复现了全部训练提示，仍会在深图上提前宣告节点可达，研究者将这一现象称为"premature flood"。
正文 · AI 翻译
摘要：循环算法推理器在小图上使用每步提示进行训练，并在大图上运行更多步数。在 SALSA-CLRS 上的广度优先搜索中，我们发现推理器可以复现每一条训练提示，却仍在深层图上失败：在若干精确步骤之后，它会在搜索尚未到达之前就宣布节点已被到达。我们将此称为过早洪泛，并追踪到两条导致它的路径。在带有度数输入的 GRU 处理器中，洪泛由隐藏状态携带，并在该输入处于训练分布尾部时被触发。在推理时将输入设得更高会使洪泛更早出现，而且六个洪泛模型都没有计步。在没有该输入的情况下，将邻居状态求和而非求平均也会破坏该处理器。在基准自带的 GIN 和 PGN 中（使用其代码训练），一些随机种子反而从固定步数开始洪泛，在稀疏图和稠密图上都是如此。钳制度数输入或添加 200 个稠密训练图可消除 GRU 处理器的所有失败。在步与步之间分离状态可避免该处理器中的洪泛（23 个种子中 0 个，而完全反向传播下为 6 个），但在求和或残差更新下则不行，并且两种已发表的补救措施仍会留下洪泛。该基准的测试集没有一个既深又稠密，但其最深的测试集显示了第二条路径：在其 1,600 个节点的 Delaunay 图上，一个 GIN 种子从第 18 步开始洪泛。因此，我们建议审计每个输入和聚合的取值范围，这能捕获第一条路径；并在深层图上进行测试，这能捕获两条路径。
| 评论： | 33 页，6 幅图 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.14982 [cs.LG] |
| （或 arXiv:2610.14982v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14982 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Amin Najafgholizadeh [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 14:57:39 UTC（130 KB）
来源：arXiv cs.AI · arxiv.org