arXiv cs.CL· Senhao Liu, Yuheng Zhang, Chunyu Wei, Yueguo Chen, Xinran Zhang·· 10 小时前AI 评分38
OpticalRAG：面向 Token 高效检索增强生成的像素空间压缩框架
OpticalRAG: Pixel-Space Compression for Token-Efficient Retrieval-Augmented Generation
AI 导读
OpticalRAG 将文档渲染为页面图像，用冻结视觉编码器编码后把检索到的视觉 token 蒸馏为仅 16 个注入 token 再送入 LLM。在 LongBench-v2、BAMBOO 和 LooGLE-v2 三个基准上，该方法均取得最佳压缩感知准确率（CAP），并使闭卷 Qwen2.5-7B-Instruct 主干模型提升 5.17 分。
正文 · AI 翻译
摘要：检索增强生成（RAG）受限于大语言模型的 token 预算：将长文档输入上下文窗口代价高昂，而激进的文本压缩会丢弃细粒度信息，这些信息在一维 token 序列中会不可逆地丢失。我们认为，这一瓶颈并非源于信息密度本身，而是源于压缩\emph{模态}的选择。现代视觉编码器可以将渲染后的文本页面内容压缩到约一百个视觉 token 中，且语义损失很小，从而开辟了纯文本方法无法达到的新的压缩-保真度权衡。我们提出\textbf{OpticalRAG}，一个将文档渲染为页面图像、用冻结的视觉编码器进行编码，并在传递给 LLM 之前将检索到的视觉 token 蒸馏为少至 $16$ 个注入 token 的框架。两个要素使这一方法无需昂贵的跨模态训练即可奏效：(i) \emph{编码器桥接检索}，它通过一个与压缩器共享的投影，将文本查询状态投影到冻结编码器的视觉特征空间中，从而从文本查询中检索视觉 token，无需对比训练；(ii) \emph{查询驱动蒸馏}，一个轻量级交叉注意力压缩器，将检索到的视觉 token 压缩为一小组以查询为条件的前缀 token。在 LongBench-v2、BAMBOO 和 LooGLE-v2 上，OpticalRAG 在仅注入 $16$ 个 token 的情况下，在全部三个基准上取得了最佳的压缩感知准确率（CAP），并将闭卷 Qwen2.5-7B-Instruct 主干模型提升了 $5.17$ 分，此 http URL 可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13675 [cs.CL] |
| （或 arXiv:2611.13675v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13675 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuheng Zhang [查看邮箱]
[v1]
2026年11月10日星期二 07:24:50 UTC（386 KB）
来源：arXiv cs.CL · arxiv.org