arXiv cs.AI· Deyang Kong, Zhaoyi Li, Sijian Ren, Ying Wei, Defu Lian, Shikun Zhang, Wei Ye·· 10 小时前AI 评分32
Agentic On-Policy Distillation 如何隐式重塑 LLM 的 ReAct 交互模式
Agentic On-Policy Distillation Implicitly Reshapes LLMs' ReAct Patterns
AI 导读
研究揭示 on-policy distillation(OPD)会跨域重塑 LLM 智能体的 ReAct 交互模式:通用推理监督将数学工具调用尝试从 70.4% 降至 14.4%,准确率从 16.7% 升至 38.0%;而 ALFWorld 监督使 τ²-bench 准确率从 41.5% 跌至 6.6%。
正文 · AI 翻译
摘要:同策略蒸馏(OPD)可将专门能力迁移到语言模型智能体,但其跨域对交互的影响仍不明确。我们研究了 OPD 如何重塑数学、ALFWorld 和 $\tau^2$-bench 上的 ReAct 交互模式,重点关注推理、动作和观察获取。通用推理监督将数学工具尝试从 70.4% 降至 14.4%,同时将准确率从 16.7% 提升至 38.0%;代码解释器监督改善了家庭动作和零售查询。相比之下,ALFWorld 监督将 $\tau^2$-bench 准确率从 41.5% 降至 6.6%,并伴随频繁违反用户信息依赖的工具调用。为仅使用源域训练轨迹来应对负迁移,我们探索了由领域特定 RL 前后教师偏好变化引导的选择性 OPD。保留前 95% 的位置将 $\tau^2$ 准确率从 11.5% 提升至 29.9%,但存在源学习权衡。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.19244 [cs.AI] |
| (或 arXiv:2611.19244v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.19244 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Deyang Kong [查看邮箱]
[v1]
2026年11月14日星期六 08:18:45 UTC(1,359 KB)
[v2]
2026年11月18日星期三 05:32:45 UTC(1,359 KB)
来源:arXiv cs.AI · arxiv.org