arXiv cs.CL· Yuning Bian, Lele Xu, Yifan Yuan, Xinyu Yin, Chengyan Zhan·· 12 小时前AI 评分31
真实文档修订下的分块重计算：测量固定、递归与内容定义分块的更新成本与检索质量
Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking
AI 导读
研究在120对中英文维基百科相邻修订上测量三种无状态分块器的更新成本，在116篇共同成功样本中，固定长度分块需重计算新版本嵌入输入的57-68%，递归分块为38-56%，内容定义分块为43-54%（62篇中文文章中有4篇失败）。
正文 · AI 翻译
摘要：用于检索增强生成的分块策略几乎总是在静态快照上进行评估，然而知识库底层的文档却在持续变化。由于各分块是独立嵌入的，编辑后发生移动的边界会迫使未改动的文本被重新嵌入。我们在 120 对相邻的中英文维基百科修订版本上，针对三种无状态分块器（不重叠固定大小、递归段落优先和内容定义分块），在严格的字节完全相同复用规则和冻结的稠密编码器下，测量了这一更新成本。在 116 篇文章的公共成功池上，使用冻结且按长度校准的参数时，固定大小分块会重新计算其完整新版本嵌入输入工作量的 57-68%，递归分块为 38-56%，内容定义分块为 43-54%（它在 62 篇中文文章中有 4 篇失败），而在这些参数下，在固定的 2048 token 检索预算内，两种语言的平均证据召回率差异均不到两个百分点。仅考虑成本的参数网格显示，两种内容感知分块器的排名会随分块长度设置而变化，而不重叠固定大小分块在每个长度匹配条件下都具有最高的重新计算成本。受控编辑和逐字存在诊断支持边界漂移是导致上一版本中已存在文本被重新计算的一个因素。因此，更新成本是一个重要的、对参数敏感的维度，静态检索评估并未揭示这一点，应当与检索质量一并报告。
| 评论： | 6 页，3 幅图，3 张表。已被 AIBDCC 2026 接收 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.31019 [cs.CL] |
| （或 arXiv:2610.31019v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31019 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuning Bian [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 09:54:17 UTC（109 KB）
来源：arXiv cs.CL · arxiv.org