arXiv cs.AI· Hyeseo Jeon, Seonho Yoo, Jay-Yoon Lee·· 11 小时前AI 评分34
GraphRail:用图结构逐步验证搜索智能体的推理错误
Where Search Agents Go Off the Rails: Graph-Grounded Step-Level Verification
AI 导读
GraphRail 将需求、证据与推理表示为结构化声明并直接比对,无需生成式评判器或标准答案,即可检测搜索增强推理系统在中间步骤的错误。在三个多跳 QA 基准和三个推理框架上,其错误召回率优于生成式验证器,且在随机抽取下保持稳定。该诊断还能指导在线推理,提供可追溯的中间错误检测与纠正方式。
正文 · AI 翻译
摘要:搜索增强的推理系统可能在中间步骤出错的情况下仍得出正确答案。可靠的审计必须检查证据 $D$ 是否覆盖问题 $Q$、推理 $T$ 是否针对 $Q$,以及 $T$ 是否以 $D$ 为依据。我们提出 GraphRail,它将需求、证据和推理表示为结构化声明,并在没有生成式评判器或标准答案的情况下对它们进行比较。在三个多跳问答基准和三个推理框架上,GraphRail 相比生成式验证器提升了错误召回率,同时在随机抽取下保持稳定。其诊断结果还可指导在线推理,提供一种可追溯的方式来检测和纠正中间错误。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.06662 [cs.AI] |
| (或本版本的 arXiv:2611.06662v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.06662 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Hyeseo Jeon [查看邮箱]
[v1]
2026年11月4日星期三 15:37:36 UTC(317 KB)
来源:arXiv cs.AI · arxiv.org