arXiv cs.CL· Yibo Wang, Jisheng Dang, Bimei Wang, Jiongpei Hou, Jingwen Zhao, Wenjun Ma, Fei Shen, Juncheng Li, Meng Wang, Qi Tian, Bin Hu, Tat-Seng Chua·· 10 小时前AI 评分31
EviCast：通过共享响应校准预测检索增益
EviCast: Forecasting Retrieval Gains Through Shared Response Calibration
AI 导读
EviCast 框架通过干预式证据状态分解预测检索价值，只需测量一次生成器对受控证据状态的响应，再结合各候选检索器的离线证据状态分布，即可在不执行全部 RAG 配置的情况下得出端到端净效用及其 95% 置信下界。
正文 · AI 翻译
作者：Yibo Wang、Jisheng Dang、Bimei Wang、Jiongpei Hou、Jingwen Zhao、Wenjun Ma、Fei Shen、Juncheng Li、Meng Wang、Qi Tian、Bin Hu、Tat-Seng Chua
摘要：检索增强生成（RAG）通过外部证据扩展大语言模型，但相关证据并不能保证生成器能够使用它。不加区分的检索可能降低任务性能，同时增加检索和长上下文推理成本。现有方法既无法在大规模执行之前判断某个生成器、任务分布和检索器配置是否值得部署，也无法在共享预算下诊断多个候选检索器。我们提出 EviCast，一个通过干预式证据状态分解来预测检索价值的框架。EviCast 一次性测量生成器对受控证据状态的响应，并将这一共享画像与每个候选检索器的离线证据状态分布相结合，从而在不执行每种 RAG 配置的情况下得出端到端净效用及其 95% 置信下界。一项状态细化分析刻画了其二元实例化和拓扑感知实例化在何时是精确的，以及共享校准在统计上何时比逐检索器校准更高效。在冻结评估中，EviCast 以 2.75 个 F1 点的预测误差正确判定全部 14 种 HotpotQA 检索配置，同时将诊断生成调用减少 80%，并在低预算条件下取得七种预测器中的最低预测误差。其拓扑感知实例化 EviCast-T 捕捉终端证据与桥接证据之间的互补性，在 MuSiQue 和 HotpotQA 上正确判定全部 16 种配置，并在前瞻性迁移至第三个数据集后正确判定 24 种配置中的 23 种。这些结果表明，检索部署既取决于证据可用性，也取决于生成器将证据结构转化为稳定净效用的能力。代码见 this https URL。
| Comments: | 13 页，6 幅图，8 张表 |
| Subjects: | 计算与语言（cs.CL）；机器学习（cs.LG） |
| Cite as: | arXiv:2611.02387 [cs.CL] |
| （或 arXiv:2611.02387v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02387 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Yibo Wang [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 01:55:58 UTC（5,541 KB）
来源：arXiv cs.CL · arxiv.org