arXiv cs.CL· Ido Levy, Segev Shlomov, Leshem Choshen·· 12 小时前AI 评分55
LASAGNA：RAG 组合性评测框架揭示单项技术增益难以叠加
Retrieval Augmented Generation Compositionality
AI 导读
论文提出开源 RAG 评测框架 LASAGNA，在 8 个基准、5K 至 200K 文档的语料上测试 450 种配置。结果显示，来自 RAG 管线不同阶段的三项检索技术单独预测可带来 +47% 提升，组合使用后实际只有 +17%；检索质量与答案忠实度偏好的设计不同，优化其一会损害另一个；语料规模变大后最优组合也会改变。
正文 · AI 翻译
摘要：检索增强生成（RAG）将大语言模型建立在外部知识之上。现代流水线结合了嵌入、分块、检索、重排序、查询增强、上下文压缩和智能体验证，但这些技术通常被逐一评估。目前尚不清楚它们的孤立增益在组合后是否仍然存在，检索质量和答案忠实度是否偏好相同的设计选择，以及来自小型语料的结论在大规模下是否成立。我们预先声明了三个假设，并推出了 LASAGNA——一个用于受控 RAG 评估的开源框架。我们在八个基准和从 5K 到 200K 文档的语料上测试了 450 种配置。得出了三个发现。第一，来自 RAG 流水线不同阶段的单独表现强劲的技术不一定能组合：三种检索技术预测可带来 +47% 的组合提升，但一起使用时仅带来 +17%。第二，组件增益在检索和忠实度上的叠加方式不同，优化其中一个可能会损害另一个。第三，最佳组合会随着语料增长而变化：在小语料上胜出的组合在大规模下可能不再是最佳。这些发现表明，孤立测量的增益并不能可靠地预测真实性能，新的 RAG 技术应在完整的周边技术栈中进行测试。我们呼吁研究人员这样做，并提供 LASAGNA 以简化这些实验。
| 评论： | 103 页（正文 9 页），15 幅图，68 张表。项目页面：此 https URL 代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | H.3.3；I.2.7 |
| 引用为： | arXiv:2610.29722 [cs.CL] |
| （或 arXiv:2610.29722v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29722 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ido Levy [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 13:30:29 UTC（1,315 KB）
来源：arXiv cs.CL · arxiv.org