arXiv cs.CL· Omri Uzan, Ron Polonsky, Douwe Kiela, Christopher Potts·· 10 天前AI 评分27
DocOpt：用强化学习优化文档以提升黑盒检索
Document Optimization for Black-Box Retrieval via Reinforcement Learning
AI 导读
DocOpt 通过 GRPO 以检索排名提升为奖励训练 LLM/VLM 改写文档，仅需黑盒访问检索排名，适用于单向量、多向量和词法检索器。
正文 · AI 翻译
摘要：生成式大语言模型（LLM）正越来越多地被用作检索流程中的推理时组件，用于查询重写和文档重排序等任务。然而，这些在线方法将昂贵的自回归计算直接置于对延迟敏感的检索路径上。我们探索了另一条路径：转而使用 LLM 来改进文档，将其重写为更好的表示形式，并将计算转移到离线。然而，生成有用的文档重写并非易事：检索本质上是判别式的，因此有效的重写必须使文档在检索器的相似度概念下，比竞争候选更接近相关查询。因此，我们将文档转换形式化为一个优化问题，直接训练 LLM 或 VLM 来生成能改进检索的重写。我们的方法 DocOpt 使用 GRPO，以检索器排名提升作为奖励，仅需对检索排名的黑盒访问，并适用于单向量、多向量和词法检索器。我们在代码和视觉检索任务上评估了零样本 LLM 重写和 DocOpt，发现文档重写可以改进检索，而优化重写能带来进一步提升。例如，OpenAI text-embedding-3-small 在直接检索下平均达到 58.35 nDCG@5；零样本重写将其提升至 60.83（GPT-5.4-mini）、63.75（Claude Haiku 4.5）和 64.23（Qwen3）。DocOpt 进一步将性能提升至 67.94，超过了成本高 6.5 倍的 text-embedding-3-large 检索器的 66.15。
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2604.05087 [cs.CL] |
| （或本版本使用 arXiv:2604.05087v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2604.05087 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Omri Uzan [查看邮箱]
[v1]
2026年4月6日星期一 18:41:40 UTC（5,156 KB）
[v2]
2026年6月20日星期六 18:39:23 UTC（1,071 KB）
[v3]
2026年8月5日星期三 03:31:30 UTC（1,070 KB）
[v4]
2026年10月7日星期三 00:32:10 UTC（1,076 KB）
来源：arXiv cs.CL · arxiv.org