arXiv cs.AI· Niclas Hart, Nicolas Weeger·· 11 小时前AI 评分36
RAG-NIMBF：面向自动化 RAG 配置分析的非侵入式模块化基准框架
RAG-NIMBF: A Non-Invasive, Modular Benchmarking Framework for Automated RAG Configuration Analysis
AI 导读
RAG-NIMBF 是一个以非侵入方式挂载到现有 RAG 流水线的模块化基准框架，通过受控消融与端到端实验追踪评估分块、嵌入、检索、重排、提示词和生成模型的配置空间。
正文 · AI 翻译
摘要：检索增强生成（RAG）已成为将大语言模型（LLM）输出锚定于外部知识的主流范式。然而，实践者面临着一个庞大的配置空间，涵盖分块、嵌入、检索、重排序、提示和生成模型，而关于这些组件如何相互作用的指导却十分有限。我们提出 RAG-NIMBF，一个模块化基准测试框架，它以非侵入式评估层的形式附加到现有 RAG 流水线上。它通过受控消融实验和端到端实验跟踪来评估配置空间。评估结合了基于 LLM 的答案质量评分、检索正确性指标和运行时指标。本研究在 SQuAD 数据集上跨多个生成模型验证了该框架。这一过程揭示了非显而易见的相互作用，并展示了实验是如何被跟踪的。研究结果表明，与传统的相似度搜索相比，检索在相关性与多样性之间的平衡显著提升了检索上下文的相关性和覆盖度，MMR 在所扫描的模型上将 nDCG@5 提高了 +4 至 +11 个百分点。更详细的提示指令能显著提高生成答案对检索证据的忠实程度，尤其是对于能力较强和具备推理能力的模型（在 Qwen3.6-27B、GPT-4o-mini 和 Qwen3.5-think 上提升 +10 至 +13pp，但在 20B 生成器上可忽略不计）。总体而言，RAG-NIMBF 将 RAG 的配置空间转化为可复现、可比较的实验。通过以非侵入式方式附加到现有生产流水线，它使实践者能够系统地评估和改进已部署系统，而不干扰现有工作流。这以基于证据的决策取代了临时性选择。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27816 [cs.SE] |
| （或 arXiv:2610.27816v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27816 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nicolas Weeger [查看邮箱]
[v1]
2026年10月20日星期二 08:08:08 UTC（76 KB）
来源：arXiv cs.AI · arxiv.org