arXiv cs.AI· Yingtao Ren, Aolin Li, Cheng Cheng, Huiyun Hu, Huasheng Liang, Baoxing Xie, Jun Yuan, Haijun Wu, Chenxing Wang·· 3 天前AI 评分24
WeFair：面向微信短视频搜索个性化查询改写的人类反馈保真对齐
WeFair: Fidelity-Aware Alignment from Human Feedback for Personalized Query Rewriting in Short-Video Search
AI 导读
WeFair 通过挖掘真实用户改写行为，构建从示范、偏好到验证的渐进式对齐流程，用于微信短视频搜索的个性化查询改写。该方法结合监督课程学习、直接偏好优化与基于真实改写的严格验证奖励，并采用 GRPO 优化。微信短视频搜索线上 A/B 测试显示，有效点击查询率（VV>10s）相对提升 1.576%，查询改写率相对下降 1.731%。
正文 · AI 翻译
摘要：短视频搜索需要紧凑的查询重写器，在严格的延迟约束下从简短、模糊的查询中推断个性化意图。挑战在于判断何时需要个性化，并生成既保留用户即时信息需求的重写结果。针对流畅性或互动性优化的重写器仍可能引入无依据的细节，并将搜索引向不同的意图。现有方法往往未充分利用用户的实际重写和行为轨迹，而是依赖合成推理和间接的行为奖励，这可能产生更具吸引力的候选结果，但会导致意图漂移。为了构建一个忠实于用户意图的有效重写器，我们提出了 WeFair，即面向微信短视频搜索中个性化查询重写的、基于人类反馈的保真度感知对齐方法。WeFair 将真实用户行为信号分配到从示范到偏好再到验证的递进过程中。我们首先从搜索会话中挖掘真实的人类重写，然后应用多维 LLM 筛选和上下文验证，以在无需大量人工标注的情况下过滤无依据的转换。在训练过程中，我们首先采用监督式课程学习，从大规模人类个性化查询示范中逐步构建重写能力，然后使用直接偏好优化与用户后续消费行为对齐。在最后的同策略优化阶段，我们基于真实人类重写构建严格的验证奖励，并通过组相对策略优化进一步提升性能。进一步分析表明，辅助奖励可以在 GRPO 中激活更多的 rollout 组，但会降低意图保真度。在微信短视频搜索中的在线 A/B 测试显示，有效点击查询率（VV>10s）相对提升 1.576%，查询重写率相对降低 1.731%。
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.16927 [cs.AI] |
| （或 arXiv:2610.16927v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16927 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Yingtao Ren [查看电子邮件]
[v1]
2026年10月12日星期一 15:10:01 UTC（2,342 KB）
来源：arXiv cs.AI · arxiv.org