arXiv cs.CL· Yuyang Bai, Zhuofeng Li, Ping Nie, Jianwen Xie, Yu Wang, Yu Zhang·· 14 小时前AI 评分34
GraphDancer：用课程强化学习训练 LLM 探索与推理图结构知识
GraphDancer: Training LLMs to Explore and Reason over Graphs via Curriculum Reinforcement Learning
AI 导读
GraphDancer 是一个强化学习框架，让 LLM 交替进行推理与函数调用以导航异构图，并引入按问题结构难度排序的图感知课程（easy-to-hard 采样器）来提升中等规模模型的 RL 训练效果。
正文 · AI 翻译
摘要：大型语言模型（LLM）日益依赖外部知识来提升事实性，但 Web 上的许多知识源（如学术索引和产品目录）以异构图的形式组织。对此类图结构知识进行推理面临两大关键挑战：（1）在结构化、由模式定义的关系上进行导航，需要超越基于相似度的检索的精确函数调用；（2）回答复杂问题往往需要通过迭代式信息检索进行多跳证据聚合。我们研究 LLM 如何学习这些交互能力并将其迁移到未见领域。我们提出 GraphDancer，一个强化学习（RL）框架，教 LLM 通过交错进行推理与函数执行来导航图。为改进中等规模 LLM 的 RL，我们引入图感知课程，使用由易到难的偏置采样器按问题的结构难度安排训练。我们在多领域 GRBench 基准上评估 GraphDancer，仅使用 Academic 和 Biomedical 图进行训练。测试涵盖这些领域的留出问题以及未见的 E-commerce、Literature 和 Legal 图。无论以 Qwen2.5-3B-Instruct 还是 Qwen3-14B 作为骨干，GraphDancer 在所有评估领域均优于使用相同骨干的图智能体基线。这些结果表明，学到的图探索与推理能力可跨领域迁移。在未见领域的平均表现上，以 14B 为骨干的 GraphDancer 也优于由闭源模型 GPT-4.1-mini 和 GPT-5-nano 驱动的基线。轨迹分析进一步表明，GraphDancer 更频繁地检索到承载答案的证据，并在找到此类证据时达到更高准确率，同时大幅减少无效协议结果。
| 评论： | 14 页。代码：此 https URL。项目网站：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2602.02518 [cs.LG] |
| （或 arXiv:2602.02518v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.02518 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yuyang Bai [查看邮箱]
[v1]
2026 年 1 月 24 日星期六 02:44:49 UTC（143 KB）
[v2]
2026 年 5 月 26 日星期二 02:25:19 UTC（177 KB）
[v3]
2026 年 10 月 25 日星期日 14:54:07 UTC（169 KB）
来源：arXiv cs.CL · arxiv.org