arXiv cs.AI· Bingjie Zhang, Yibo Yang, Qiantong Liu, Benshuo Fu, Yi Chang, Dandan Guo·· 3 天前AI 评分24
TQG-Exp：用轨迹质量引导 LLM 智能体的经验学习
Beyond Outcome Feedback: Trajectory-Quality-Guided Experience-based Learning
AI 导读
针对现有经验学习方法只看最终任务结果、忽略执行过程的问题，研究者提出轨迹质量引导的经验学习框架 TQG-Exp，通过轨迹质量损失（TQL）同时考虑任务完成度与过程质量，并结合有无检索经验的配对 rollout 优化经验、估计其效用。
正文 · AI 翻译
摘要：基于经验的学习使大语言模型（LLM）智能体能够通过复用过往执行中的知识随时间推移而不断改进。然而，现有方法通常依赖最终任务结果作为经验学习的反馈，忽视了执行过程，限制了其基于轨迹质量评估和优化经验的能力。为解决这一局限，我们提出 TQG-Exp，一个引入过程反馈的轨迹质量引导的基于经验的学习框架。具体而言，我们引入轨迹质量损失（TQL），它同时考虑任务完成情况和过程质量，以提供超越最终任务结果的学习信号。基于该信号，我们采用带检索经验与不带检索经验的配对 rollout 来指导经验优化。根据结果和轨迹质量选择代表性轨迹，以提取任务级和任务类型级的经验。同时，利用配对组之间的轨迹质量差异来估计所检索经验的贡献并更新其效用。随后，将学习到的效用与语义相关性相结合，以指导后续的经验检索。在 ALFWorld、WebShop 和 ScienceWorld 上使用两个骨干 LLM 进行的实验表明，TQG-Exp 优于现有的基于经验的方法，在 DeepSeek-V4-Flash 和 Qwen3.5-Flash 上，Avg.@3 分别比最强基线提高了 4.50 和 8.55 个百分点。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14877 [cs.AI] |
| （或使用 arXiv:2610.14877v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.14877 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bingjie Zhang [查看邮箱]
[v1]
2026年10月10日星期六 12:50:09 UTC（945 KB）
来源：arXiv cs.AI · arxiv.org