arXiv cs.AI· Bohan Lin, Liyi Chen, Zhuoning Guo, Muyang Li, Qimeng Wang, Yan Gao, Yao Hu, Yudong Zhang·· 3 天前AI 评分24
GraphOPD：面向 LLM 智能体的图增强在线策略蒸馏
GraphOPD: Graph-Augmented On-Policy Distillation for LLM Agents
AI 导读
针对在线策略蒸馏按教师-学生散度大小分配监督信号在多轮决策中失效的问题，研究者提出 GraphOPD，首次将图结构增强引入面向智能体能力的在线策略蒸馏。该方法从环境状态变化记录中提取步骤依赖关系构建依赖图，用随机游走平稳分布为每步打分，并与散度信号融合成轨迹相对掩码。在 ALFWorld、WebShop、SearchQA 上跨三种模型规模和十一个基线，最高较最强基线提升 +5.8 pp。
正文 · AI 翻译
摘要：在线策略蒸馏通过教师策略提供密集的逐步指导，对大型语言模型智能体进行后训练，以应对强化学习奖励稀疏且每条轨迹仅到达一次的问题。现有实现根据每一步教师-学生散度的大小来分配这种指导，其单轮直觉是：大的分歧标志着值得纠正的错误。一旦决策在多轮中链式展开，该规则就会失效，因为早期的漂移会进入两个策略所依赖的每一个后续上下文，使教师与漂移后的轨迹保持一致，而不是标记其成因，同时可互换的步骤会记录到大的但与结果无关的散度。我们在一个智能体基准上证明了这一点：蒸馏散度最高的步骤相比随机选择并未带来一致的收益。为此，我们提出了 GraphOPD，这是首个将基于图的结构增强引入在线策略蒸馏以提升智能体能力的方法。它从环境自身的状态变化记录中读取哪些步骤促成了哪些后续步骤，不受破坏教师-学生差距的漂移影响，将它们组织为依赖图，通过其上的随机游走平稳分布对每个步骤评分，并将该结构信用与散度信号融合为轨迹相对的掩码，将监督集中在每次 rollout 中能力最高的步骤上。在 ALFWorld、WebShop 和 SearchQA 上，跨三种模型规模和十一个基线，GraphOPD 全程展现出有竞争力的性能，相比最强基线提升最高达 +5.8 个百分点。一项执行回放审计进一步表明，该结构信用分数追踪真实因果影响的准确率远高于随机水平，两种融合信号各自独立必要，且同一信号可迁移到域外的工具集成推理。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08959 [cs.LG] |
| （或 arXiv:2610.08959v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08959 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bohan Lin [查看邮箱]
[v1]
2026年10月6日星期二 18:25:23 UTC（8,318 KB）
[v2]
2026年10月13日星期二 07:31:01 UTC（8,319 KB）
来源：arXiv cs.AI · arxiv.org