arXiv cs.CL· Kilho Son, Paul Hsu, Cha Zhang, Dinei Florencio·· 11 小时前AI 评分31
RCEM：面向分布偏移的鲁棒对话式搜索嵌入模型
RCEM: Robust Conversational Search EMbedder in Distributional Shift
AI 导读
研究者提出 RCEM，一种结合 LLM 查询改写能力的鲁棒对话式搜索嵌入模型，通过将对话对齐到 LLM 改写后的查询而非长段落，在保持原嵌入空间不变的同时简化对齐任务。该方法无需对话到段落的相关性标注即可训练，并可直接复用原嵌入模型构建的索引而无需重建。实验显示 RCEM 在分布偏移下最多提升 30%，优于此前方法。
正文 · AI 翻译
摘要：我们提出 RCEM，一种鲁棒的对话式搜索嵌入器（Robust Conversational search EMbedder），它额外具备 LLM 的查询改写能力，同时不损失基模型的泛化性。与以往学习直接对话到段落匹配的对话式稠密检索方法不同，RCEM 将前置特殊 token 的对话与 LLM 改写的查询对齐，同时保留原始嵌入空间。不变的嵌入空间会自动将改写后的查询映射到相关段落。因此，RCEM (1) 通过将对齐任务从长段落简化为较短的改写查询来减少过拟合，(2) 消除了训练时对对话到段落相关性标签的需求，(3) 保持其原始嵌入空间，使得对话式查询可以针对由原始嵌入器构建的索引进行，而无需重建这些索引。大量实验表明，RCEM 始终优于先前方法，在分布偏移下实现了高达 30% 的提升。
| 评论： | EMNLP |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.01697 [cs.CL] |
| （或 arXiv:2606.01697v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.01697 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kilho Son [查看邮箱]
[v1]
2026年6月1日 星期一 05:04:17 UTC（516 KB）
[v2]
2026年6月17日 星期三 13:57:05 UTC（986 KB）
[v3]
2026年10月22日 星期四 23:34:32 UTC（935 KB）
来源：arXiv cs.CL · arxiv.org