arXiv cs.AI· Paul J\"unger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger·· 13 小时前AI 评分31
SARDI：为扩散语言模型自增强检索的免训练 RAG 框架
Self-Augmenting Retrieval for Diffusion Language Models
AI 导读
SARDI 是一个面向扩散语言模型的免训练动态 RAG 框架，利用去噪过程中的推测性 token 预测提前引导检索。在五个多跳 QA 基准上，它以最高 4 倍吞吐量超越免训练的扩散与自回归检索基线。该方法与检索器无关，适用于任何具备推理能力的离散扩散语言模型，论文已被 ICML 2026 接收。
正文 · AI 翻译
摘要：扩散语言模型通过并行地对整个响应进行迭代去噪来生成文本，在每一步都保留答案的含噪草稿。我们表明，这些中间状态在去噪轨迹的早期就浮现出显著实体，使其成为检索增强生成（RAG）的有用前瞻信号。我们进一步证明，将生成建立在检索到的证据之上会显著降低 token 间依赖，使 RAG 特别适合并行解码。我们通过面向扩散语言模型的自增强检索（SARDI）同时利用这两点，这是一个动态 RAG 框架，利用推测性 token 预测在去噪过程中引导检索。SARDI 无需训练、与检索器无关，并且适用于任何具备推理能力的离散扩散语言模型。在五个多跳问答基准上，SARDI 在吞吐量高达 4 倍的情况下优于无需训练的扩散和自回归检索基线。
| 评论： | ICML 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.06474 [cs.CL] |
| （或 arXiv:2606.06474v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.06474 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Paul Jünger [查看邮箱]
[v1]
2026年6月4日 星期四 17:56:27 UTC（202 KB）
[v2]
2026年10月29日 星期四 16:45:03 UTC（262 KB）
来源：arXiv cs.AI · arxiv.org