多token预测与替代分词突破图搜索规模墙

Arvid Frydenlund 等作者提交的论文指出，语言模型在图上学习最短路径任务时，会随规模扩大而失败，原因在于监督信号与分词方式两方面。作者从理论上证明并实验验证了多 Token 预测（MTP）的有效性，且该收益与图的拓扑结构无关；同时引入替代分词方案，并证明这两个原因彼此正交。 作者称，结合这两种方法后，模型突破了此前工作中的规模瓶颈，在远超以往限制的规模上稳定学会求解该任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。