arXiv cs.AI· Nayoung Choi, Shengjian Chen, Xiaokai Wei, Wenzheng Zhang, Daiyao Yi, Rachit Pareek, Vincent Su, Michelle Gong, Jinho D. Choi·· 13 小时前AI 评分34
Roblox 游戏搜索的多组件查询理解：搜索感知强化学习框架
Search-Aware Reinforcement Learning for Multi-Component Query Understanding in Roblox Game Search
AI 导读
Roblox 提出搜索感知强化学习框架，将搜索意图分类、属性抽取和查询改写等查询理解子任务合并为单一模型，并按各组件在搜索管线中的实际作用分别设计奖励。该框架采用先蒸馏后 RL 的两阶段方案，在大型用户生成游戏平台上使 NDCG@20 较 SFT 策略提升 8.9 分、较单一端到端奖励提升 3.5 分。所得小型低延迟学生模型性能超过更大的教师模型，最终模型正在生产环境中逐步部署。
正文 · AI 翻译
摘要：生产搜索系统中的查询理解（QU）通常依赖针对每个子任务的独立模型，例如搜索意图分类、属性抽取和查询改写。大型语言模型（LLM）如今使得将这些子任务整合为单一模型、输出统一的 QU 结果成为可能。然而，这种整合带来了新的优化挑战。单一模型服务于多个组件，每个组件在搜索流水线中承担不同的下游角色，而每个组件的效用取决于底层搜索引擎如何对其采取行动，而非与静态标签的一致性。我们提出了一种基于“先蒸馏后强化学习”范式的、面向多组件 QU 的搜索感知强化学习（RL）框架。教师—学生监督微调（SFT）首先得到一个符合模式规范的小型策略。随后 RL 阶段从该策略出发，在生产环境的实时搜索引擎上执行每个 QU 方案，并针对每个组件的运行角色量身定制奖励来优化它，而不是依赖与最终搜索结果绑定的单一奖励。在一个大规模用户生成内容游戏平台上，这种组件特定的优化使 NDCG@20 相比 SFT 策略提升 8.9 个点，相比单一端到端奖励提升 3.5 个点。由此得到的小型、低延迟学生模型也超越了其规模大得多的教师模型，我们的最终模型正在逐步部署到生产环境。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.30177 [cs.AI] |
| （或本版本的 arXiv:2609.30177v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.30177 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nayoung Choi [查看邮箱]
[v1]
2026年9月24日 周四 17:26:46 UTC（182 KB）
[v2]
2026年10月28日 周三 19:47:49 UTC（183 KB）
来源：arXiv cs.AI · arxiv.org