arXiv cs.AI· Daeyong Kwon, Soyoung Yoon, Seung-won Hwang·· 13 小时前AI 评分34
SAFE：用 LLM 作为验证器实现基于证据的多跳推理框架
SAFE: An LLM-as-Verifier Framework for Evidence-Grounded Multi-Hop Reasoning
AI 导读
SAFE 是一个 LLM-as-verifier 框架，在生成过程中逐步校验中间推理步骤而非仅判断最终答案，将推理拆解为知识图谱三元组形式的原子化证据单元。在三个多跳 QA 基准上，SAFE 平均提升准确率 8.8 个百分点。该工作已被 EMNLP 2026 主会接收，代码与数据集已公开。
正文 · AI 翻译
摘要：多跳问答基准测试常常会因虚假的正确性而奖励大语言模型（LLM），即模型通过无效的中间推理得出正确答案。我们提出 SAFE，一个用于基于证据的多跳问答的 LLM 即验证器框架。SAFE 并非仅在生成后判断最终答案，而是在生成过程中通过对照所提供的段落和先前的推理轨迹检查中间步骤来验证推理。为使这一过程可检查，SAFE 将推理分解为以知识图谱（KG）三元组表示的原子化、基于证据的单元。在训练阶段，SAFE 在基于 KG 的约束下验证基准监督，并构建可靠的验证器训练数据。在推理阶段，外部验证器检查每个生成的步骤，识别无效推理，并在错误传播之前提供纠正反馈。在三个多跳问答基准上，SAFE 平均将准确率提升 8.8 个百分点。这些结果表明，基于证据的多跳问答受益于将基于 LLM 的评估从事后答案判断转向逐步推理验证。
| 评论： | 已被 EMNLP 2026（主会议）接收。Github：此 https URL | 数据集：此 https URL |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.01993 [cs.CL] |
| （或针对此版本的 arXiv:2604.01993v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2604.01993 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daeyong Kwon [查看电子邮件]
[v1]
2026 年 4 月 2 日星期四 12:59:30 UTC（2,777 KB）
[v2]
2026 年 6 月 9 日星期二 17:29:55 UTC（2,397 KB）
[v3]
2026 年 8 月 23 日星期日 03:17:47 UTC（2,397 KB）
[v4]
2026 年 10 月 29 日星期四 06:25:32 UTC（2,398 KB）
来源：arXiv cs.AI · arxiv.org