arXiv cs.CL· Muhammad Aimal Rehman, Chi-Kuang Yeh·· 14 小时前AI 评分31
自适应检索、选择性回答：评估智能体 RAG 中的保形事实性
Adaptive Retrieval, Selective Answers: Evaluating Conformal Factuality in Agentic RAG
AI 导读
研究在智能体 RAG 中评估保形事实性，即语言模型策略自适应发起后续检索或提前终止检索后再生成回答。
正文 · AI 翻译
摘要：检索增强生成（RAG）可以改善事实依据，但无法保证每一条生成的陈述都有支持。此前的工作研究了单阶段 RAG 以及更近期的多跳 RAG 中的声明级保形事实性。我们考察其在智能体式 RAG 中的表现，其中语言模型策略会自适应地发出后续检索查询，或在生成响应前终止检索。我们保留了基于检索的相关性评分公式和生成后保形过滤，并评估了六种模型-数据集配置：GPT-6 Luna 和 Llama 3.1 8B 在 HotpotQA、Natural Questions 和 TriviaQA 上。每种配置使用 60 个固定问题、100 个带种子的 30/30 校准-测试划分、五个保形目标水平，以及一个无保形预测的基线。在六种配置中，更高的目标水平伴随着更高的观测完全支持率和降低的答案可用性。在 95% 目标下，非空响应覆盖率从 17.23% 到 60.17%，声明保留率从 10.72% 到 43.16%，非空输出中的完全支持率从 89.14% 到 95.56%。我们明确表述了自适应检索轨迹，并刻画了在智能体终止后应用保形事实性时的可靠性-信息量权衡。
| 评论： | 10 页，1 幅图，5 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34872 [cs.CL] |
| （或 arXiv:2610.34872v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34872 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Muhammad Aimal Rehman [查看电子邮件]
[v1]
2026年10月26日星期一 05:37:03 UTC（48 KB）
来源：arXiv cs.CL · arxiv.org