arXiv cs.AI· Chenjie Qiu, Zixuan Zeng, Shaobin Shi, Bingfeng Chen, Dongsheng Luo, Boyan Xu·· 13 小时前AI 评分34
让嵌入模型从自身错误中学习：面向多跳 RAG 的 on-policy 训练方法
Retrieving from Your Own Mistakes: On-Policy Training of Embedding Models for Multi-Hop Retrieval-Augmented Generation
AI 导读
研究者提出 on-policy state training，让链式嵌入检索器的编码器直接在自己检索到的状态上训练，包括建立在自身错误之上的状态，从而缩小训练与测试分布差距。该方法在 HotpotQA 和 2WikiMultiHopQA 的更难长链变体上无需额外训练即可迁移，检索完整证据的频率高于 teacher-forced 训练及对比系统，且在同一状态下从自身错误中恢复的比例显著更高。
正文 · AI 翻译
摘要：检索增强生成中的复杂问题需要分布在多篇文档中的证据，只有当检索器找到全部证据时，答案才可靠。链式嵌入检索器逐步收集此类证据，将问题与目前已检索到的段落一起重新编码，我们发现它们已经很强：仅用金标准历史训练、不调用任何语言模型的小型链式嵌入检索器，其表现优于基于图的系统，并与搜索智能体相当。然而，这种训练留下了一个缺口。在测试时，检索器以自身的检索结果为条件，而这些结果很快会包含错误：到第三步时，它访问的状态中约有一半或更多包含错误段落，这些段落降低其检索到缺失金标准段落的机会，远超状态难度所能解释的程度。我们提出同策略状态训练，即在编码器自身到达的状态上训练编码器。在每个 epoch，当前编码器为训练问题检索链；它访问的每个状态（包括基于自身错误构建的状态）都用仍缺失的最早金标准段落进行标注，同时其他缺失的金标准段落被掩码，从而不会惩罚任何正确的延续；编码器在这些状态与教师强制状态混合的数据上进行对比更新，使其训练分布随学习过程而演变。由此得到的检索器比教师强制训练和我们比较的系统更频繁地检索到完整证据，并且无需进一步训练即可迁移到我们构建的更难长链变体 HotpotQA 和 2WikiMultiHopQA 上。在相同状态下，它从自身错误中恢复的频率要高得多，受控比较将增益归因于在编码器当前到达的状态上进行训练。
| 评论： | 13 页，7 幅图，11 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.40409 [cs.AI] |
| （或 arXiv:2610.40409v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40409 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chenjie Qiu [查看邮箱]
[v1]
2026年10月29日 星期四 16:40:02 UTC（591 KB）
来源：arXiv cs.AI · arxiv.org