arXiv cs.CL· Parv Khatri, Harshul Jain, Mehak Kapoor, Tanya Sah·· 2 天前AI 评分34
判断 RAG 知识冲突类型，真的需要 LLM 吗？决策模型分类研究
Do We Need an LLM to Know Why Sources Conflict? Decision Models for Knowledge-Conflict Typing in RAG
AI 导读
研究用单次前向传播输出固定选项概率的决策模型，在 CONFLICTS 基准上对 RAG 知识冲突类型分类，11 个模型准确率 50.0–67.0%，其中 10 个达到或超过 Gemini 2.5 Flash 的 61.3%，计费成本低 4–39 倍、延迟低 2.6–6.0 倍。
正文 · AI 翻译
摘要：当为某个查询检索到的来源彼此不一致时，正确的回应取决于它们为何不一致：一个有多个有效答案的问题、一个有争议的话题、过时的信息和虚假来源，各自需要不同的处理方式。Cattan 等人（2025）表明，告知生成器冲突类型可使其回答提升约 24 分，但即便是前沿 LLM，预测冲突类型也很困难。我们研究类型化决策模型——在单次前向传播中返回固定选项上的概率而非生成文本——能否快速且低成本地完成这一分类。使用 CONFLICTS 基准和原论文的提示词原文，我们在相同输入上评估了由同一商业推理网关提供的、来自 7 家提供商的全部 11 个决策模型，并与 Gemini 模型对比。直接询问时，决策模型达到 50.0--67.0% 的准确率；11 个中有 10 个达到或超过论文所用模型 Gemini 2.5 Flash（61.3%），计费成本低 4--39 倍（其中 2 个免费），延迟低 2.6--6.0 倍。当前的 Gemini 3.8 Flash（70.0%）显著优于其中 8 个，但将每个决策模型最不自信的四分之一查询发送给它，得到的级联在 11 个中有 8 个与它在统计上持平，成本仅为其 25--37%。端到端来看，使用 11 个中 10 个的类型生成的答案，其符合预期行为的频率与使用 LLM 类型时相当。将分类体系分解为是/否问题会降低所有模型的准确率，且在一个模型上拟合的修复无法迁移。预先设定的诊断表明，日期没有可测量的作用，而对来源顺序的敏感性在不同模型间差异很大。作为硬标签时，决策模型检测植入虚假来源的可靠性低于 LLM，但其概率仍能将植入来源与干净来源区分开。我们在此 https URL 发布代码、提示词和所有模型输出。
| 评论： | 15 页，2 幅图，8 张表。代码、提示词和所有模型输出：此 https URL |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.36915 [cs.CL] |
| （或本版本的 arXiv:2610.36915v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.36915 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Parv Khatri [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 09:43:21 UTC（93 KB）
来源：arXiv cs.CL · arxiv.org