arXiv cs.AI· Yaxin Zhang, Xingyu Wu, Yuchen Yan, Yuqin Dai, Hong Zhao, Lixing Shen, Zhan Chen, Jian Shao, Yongliang Shen·· 1 天前AI 评分32
SimRec：让推荐智能体学会搜索、提问与推荐的强化学习框架
SimRec: Learning to Search, Ask, and Recommend from Simulated Interaction
AI 导读
SimRec 是一个强化学习框架，用于训练工具集成推荐智能体的完整交互策略，包含任务锚定的用户模拟器和基于 GRPO 的任务对齐奖励。在 ESCI 和 Amazon C4 上，Qwen3-4B 智能体的 NDCG@100 分别从 32.23% 提升至 35.42%、从 22.94% 提升至 24.72%，优于更大骨干的无训练智能体和任务对齐基线。
正文 · AI 翻译
摘要：基于 LLM 的推荐智能体可以搜索商品目录、查看商品、询问用户，并对被拒绝的推荐进行修正。然而，这些行为通常由人工设计的工作流控制，而现有训练方法优化的是查询改写或列表排序等孤立组件，而非整体交互策略。我们提出 SimRec，一个强化学习框架，用于训练工具集成推荐智能体的完整交互策略。SimRec 引入两个组件。任务锚定的用户模拟器对每条推荐提供反馈：以当前任务需求而非用户画像为条件，它可以是外部 LLM，也可以在自我对弈中由推荐器自身充当。任务对齐奖励使用 GRPO 优化整个轨迹，在最终命中之外，还对自然检索质量和有效工具使用给予奖励，并通过仅训练时使用的目标注入来处理大目录下的稀疏命中问题。在 ESCI 和 Amazon C4 上，SimRec 将 Qwen3-4B 智能体的 NDCG@100 从 32.23% 提升到 35.42%，从 22.94% 提升到 24.72%，在 NDCG 上优于在更大得多的骨干模型上运行的无训练智能体以及任务对齐基线。分析表明，训练后的智能体验证候选、利用偏好以及从被拒绝推荐中恢复的频率远高于未训练版本。我们的代码见 此 https URL 。
| 评论： | 19 页，5 幅图，16 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2611.15426 [cs.CL] |
| （或 arXiv:2611.15426v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15426 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yaxin Zhang [查看邮箱]
[v1]
2026 年 11 月 11 日星期三 12:53:52 UTC（1,210 KB）
来源：arXiv cs.AI · arxiv.org