arXiv cs.CL· Ha Lan N. T, Minh-Anh Nguyen, Dung D. Le·· 12 小时前AI 评分34
LAnR：在 LLM 隐空间中统一编码、检索与生成的 RAG 框架
Latent Abstraction for Retrieval-Augmented Generation
AI 导读
研究者提出 LAnR（Latent Abstraction for RAG），让单个 LLM 完全在自身隐空间内联合完成编码、检索与生成，不再生成自然语言查询，而是从指定 [PRED] token 的隐藏状态产出稠密检索向量，与同一模型编码的文档表示匹配。
正文 · AI 翻译
摘要：检索增强生成（RAG）已成为利用外部知识增强大语言模型（LLM）、缓解幻觉并提升事实性的标准方法。然而，现有系统依赖于在每一跳生成自然语言查询，并在检索器与生成器之间保持严格的架构分离，使其无法充分利用 LLM 的完整表示能力。我们提出 \textbf{LAnR}（Latent Abstraction for RAG），这是一个统一框架，其中单个 LLM 完全在自身的潜在空间内联合执行编码、检索和生成。LAnR 不生成文本查询，而是从指定 \texttt{[PRED]} token 的隐藏状态中产生稠密检索向量，并用其与同一模型编码的文档表示进行匹配。此外，LAnR 通过一个轻量级 MLP 控制头作用于这些相同的隐藏状态，自适应地判断何时已检索到足够证据，从而消除了单独的检索器和显式的 token 级停止推理。这一设计源于我们的实证观察：答案 token 熵能够可靠地指示检索充分性。在涵盖单跳和多跳设置的六个 QA 基准上的大量实验表明，LAnR 优于现有 RAG 方法，同时通过减少检索调用次数和更紧密的模型集成实现了更高的推理效率。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.17866 [cs.CL] |
| （或本版本的 arXiv:2604.17866v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2604.17866 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minh Nguyen [查看邮箱]
[v1]
2026年4月20日星期一 06:26:13 UTC（534 KB）
[v2]
2026年5月7日星期四 12:30:55 UTC（1,316 KB）
[v3]
2026年10月19日星期一 08:18:07 UTC（1,321 KB）
[v4]
2026年10月27日星期二 08:09:49 UTC（1,321 KB）
来源：arXiv cs.CL · arxiv.org