arXiv cs.CL· Mufei Li, Nikki Lijing Kuang, Zhuoer Wang, Samson Koelle, Jie Yuan, Manqing Mao, Hong Wang, Yanjun Lin, James Feng, Daniel Edmiston, Pan Li, Wei Niu·· 10 小时前AI 评分31
哪些成功轨迹适合做参考？多轮 on-policy 蒸馏中的动作序列对齐
Which Successes Make Good References? Action-Sequence Alignment for Multi-Turn On-Policy Distillation
AI 导读
研究将多轮工具调用智能体 on-policy 蒸馏中的成功参考轨迹选择建模为自由目标最优传输问题，并用最长公共子序列（LCS）作为动作序列对齐的可观测代理来衡量轨迹兼容性。
正文 · AI 翻译
作者：Mufei Li、Nikki Lijing Kuang、Zhuoer Wang、Samson Koelle、Jie Yuan、Manqing Mao、Hong Wang、Yanjun Lin、James Feng、Daniel Edmiston、Pan Li、Wei Niu
摘要：同策略蒸馏（OPD）通过在学生模型自身的轨迹上对其进行监督，来减小训练与推理之间的分布失配。对于多轮工具使用智能体，将教师模型以一条经过验证的同任务成功轨迹作为参考进行条件化，可以提供有用的后见之明，但不同的成功轨迹可能到达互不兼容的交互状态，从而提供误导性的监督。我们将成功参考轨迹的选择建模为一个自由目标最优传输问题，该问题可归结为为每条失败轨迹分配其最兼容的成功参考轨迹。由于潜在状态路径是隐藏的，我们使用动作序列对齐作为兼容性的可观测代理，并用最长公共子序列（LCS）来实现它，该方法识别出共享的有序动作主干，同时允许可恢复的绕行。这一视角使轨迹兼容性成为多轮 OPD 中参考轨迹选择的核心标准。在 ALFWorld 和 $\tau^3$-bench 的 airline 领域上的实验表明，LCS 是唯一一个在 ALFWorld 总体得分和全部三项 airline 指标上均优于无参考 OPD 的受评估参考选择器。在无需进一步优化的情况下，在 airline 上训练的模型也能迁移到 retail 领域，其中 LCS 改善了全部三项指标。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13135 [cs.LG] |
| （或本版本的 arXiv:2611.13135v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.13135 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mufei Li [查看邮箱]
[v1]
2026年11月9日星期一 19:18:25 UTC（4,005 KB）
来源：arXiv cs.CL · arxiv.org