arXiv cs.CL· Youmin Ko, Jihong Jeong, Hyunjoon Kim·· 10 小时前AI 评分34
ShiftRAG：用解耦学习与连续软 token 绕过文本瓶颈
ShiftRAG: Bypassing the Textual Bottleneck via Decoupled Learning and Continuous Soft Tokens
AI 导读
ShiftRAG 是一个解耦式 RAG 框架，用单一 LLM 主干但将判别式检索学习与自回归生成分离，并通过把检索对齐结果投影为连续软 token 构建高带宽接口，向生成器注入检索侧信号。该框架同时用软正交目标缓解 rank collapse，并以逐层相关性动态保留细粒度隐空间。实验显示其在检索与问答任务上显著优于 SOTA 基线，并保持主干基础能力与效率-性能权衡。
正文 · AI 翻译
摘要：尽管检索增强生成（RAG）取得了进展，但在复杂推理过程中抑制幻觉仍是一项持续存在的挑战。我们发现，现有的 RAG 流水线存在文本瓶颈：仅将原始文本传递给生成器，会丢弃检索器的判别性信号。此外，近期在单一 LLM 内统一检索与生成的尝试会引发严重的目标冲突，并加剧仅解码器架构的秩崩溃，从而降低两项任务的性能。为解决这些局限，我们提出 ShiftRAG，这是一个解耦的 RAG 框架，采用单一 LLM 主干，但将判别式检索学习与自回归生成隔离开来。为桥接这些解耦模式，我们将检索对齐投影为连续软 token，建立一个高带宽接口，将检索侧信号注入生成器。同时，我们的软正交目标缓解秩崩溃，而逐层相关性动态则保留高度判别性证据分离所需的细粒度潜在空间。大量评估表明，ShiftRAG 在检索和问答性能上显著优于最先进的基线。ShiftRAG 保留了主干的基础能力，同时在通用文本编码和生成任务上保持了良好的效率-性能权衡。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.00871 [cs.CL] |
| （或 arXiv:2611.00871v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00871 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Youmin Ko [查看电子邮件]
[v1]
2026年10月31日星期六 12:13:28 UTC（6,306 KB）
来源：arXiv cs.CL · arxiv.org