arXiv cs.AI· Hamed Khosravi, Xiaoming Huo·· 11 小时前AI 评分38
PRIME：让 LLM 智能体基于可验证证据进行推理
PRIME: Towards Verifiable Evidence-Grounded Reasoning in LLM Agents
AI 导读
PRIME（Precommitted Rules for Inference from Minimal Evidence）通过预先固定证据路径、由独立程序记录每次检查结果并拒绝无依据结论，让 LLM 智能体只报告规则与账本授权的结论。
正文 · AI 翻译
摘要：LLM 智能体被用于对照组织的要求检查记录，例如漏洞报告是否已准备好接受调查。要求通常允许多种满足方式，例如带有策展人审核公告的严重性评级，或已发布的公告链接。智能体失败的情形包括：在必需检查未通过后仍接受报告，或满足于较弱的结论而不尝试其他仍可能成功的方式。我们提出 PRIME（Precommitted Rules for Inference from Minimal Evidence，基于最小证据推理的预承诺规则）。在检查之前，它固定证据路径，规定每个结论可以如何被证明。一个单独的程序记录每项检查结果，并拒绝结果无法证明的任何结论。它还会向智能体指出可能证明更强结论的检查，或自行运行这些检查。PRIME 只报告其规则和账本授权的结论。在要求正确、已知位置的精确检查以及停止时预算充足的情况下，完成度可达到最强受支持的结论。在 480 个公开记录任务上，向智能体展示要求后，其在 26.7% 的任务上报告了未经证明的结论，而 PRIME 没有报告任何此类结论。其指引和新增检查将合理结论的平均得分从仅靠拒绝时的 30.1 提高到满分 59.2（满分 100）。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22426 [cs.AI] |
| （或 arXiv:2610.22426v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22426 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hamed Khosravi [查看电子邮件]
[v1]
2026年10月15日星期四 05:03:22 UTC（226 KB）
来源：arXiv cs.AI · arxiv.org