多 Token 预测与替代分词让语言模型在大规模图上学会隐式多跳搜索

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

AI 导读

语言模型在图上学习最短路径任务时随规模扩大而失败，研究指出原因在于监督信号与分词方式两方面。作者从理论上证明并实验验证了多 Token 预测（MTP）的有效性，且该收益与图的拓扑结构无关；同时引入替代分词方案，证明两个原因彼此正交。结合这两种方法，模型突破了此前工作中的规模瓶颈，在远超以往限制的规模上稳定学会求解该任务。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：给定一个未见过的图、起始节点 $s$ 和终止节点 $t$，语言模型能否生成从 $s$ 到 $t$ 的最短路径？先前的研究发现，随着图规模增大，模型无法学会这一任务。我们表明，这种失败有两个原因：监督信号和分词方式。首先，我们从理论上确立并通过实验证明了多 token 预测（MTP）的有效性，并表明 MTP 的收益与拓扑无关。其次，我们引入了替代分词方式，并表明这两个原因是正交的。利用这些方法，我们突破了先前研究观察到的扩展壁垒，在远超此前极限的规模上持续且稳定地学会解决该任务。

评论：	不要被页面长度吓到 :)
主题：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2610.31439 [cs.LG]
	（或 arXiv:2610.31439v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.31439 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Arvid Frydenlund [查看邮箱]
[v1] 2026年10月22日星期四 15:35:50 UTC（3,033 KB）

来源：arXiv cs.CL · arxiv.org