arXiv cs.CL· Yifan Zhao, Qianyang Zhao, Xinyu Guan, kai wei, Yuming Deng·· 12 小时前AI 评分34
QESChunker：用单一目标统一 RAG 的重叠与非重叠分块
QESChunker: A Single Objective Unifies Overlapping and Non-Overlapping Chunking for RAG
AI 导读
QESChunker 是首个利用问题—证据监督构建静态分块索引的方法，通过统一的问题—证据效用最大化目标，将重叠与非重叠分块转化为监督式组合优化问题。非重叠约束下可用动态规划在多项式时间内精确求解，允许重叠时目标为单调子模，贪心算法达到 (1-1/√e) 近似。在两个自建和三个公开数据集上，两种变体在相同重叠设置与固定混合检索器下，几乎全部评测设置的完整证据召回率均优于现有分块方法。
正文 · AI 翻译
摘要：分块是检索增强生成（RAG）中的一项基础预处理步骤，然而现有的大多数分块器主要依赖启发式方法。我们提出问题—证据监督分块器（Question--Evidence-Supervised Chunker，QESChunker），据我们所知，这是首个从问题—证据监督中构建静态分块索引的方法。QESChunker 通过对人工标注或 LLM 生成的问题—证据对进行优化，构建文档特定的分块索引，且无需访问留出的测试查询。我们将不重叠与重叠的索引构建统一表述为一个问题—证据效用最大化目标，从而把分块转化为一个有监督的组合优化问题。在不重叠约束下，该目标可按分块分解，并可通过动态规划在多项式时间内精确优化。当允许重叠时，该目标变为单调子模；精确优化是 NP 难的，但我们的贪心算法可达到 $(1-1/\sqrt{e})$ 近似。在两个自构建数据集和三个公开数据集上，两种变体在几乎所有评估设置下，在相同的重叠机制和固定的混合检索器条件下，均在完整证据召回率上优于现有分块方法。这些结果将分块重新定义为面向证据检索的、有监督且预算感知的索引构建。
| 评论： | 16 页，8 幅图，4 张表 |
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL）；优化与控制（math.OC） |
| 引用为： | arXiv:2610.36557 [cs.IR] |
| （或 arXiv:2610.36557v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36557 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qianyang Zhao [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 03:05:09 UTC（303 KB）
来源：arXiv cs.CL · arxiv.org