arXiv cs.AI· Lun Ai, Yu-Heng Wu, Jonathan Schaul, Leonie K\"uchenhoff, Denes Turei, Francesco Carli, Fabio Petroni, Aurelien Dugourd, Julio Saez-Rodriguez·· 1 天前AI 评分38
递归知识构建能否帮助智能体验证科学共识主张？ProClaim 给出答案
Does Recursive Knowledge Construction Help Agents Verify Consensus Claims in Science?
AI 导读
研究提出 ProClaim，将证据状态持久化在模型上下文之外，用于验证科学共识主张，在 ProClaim-eval 数据集（718 条主张，覆盖分子生物学、核物理和天文学）上排名前三，显著优于通用智能体框架。
正文 · AI 翻译
摘要：近期的科学智能体通过检索证据、构建中间状态并判断该状态是否包含足够信息，以递归方式构建知识。这些智能体以端到端方式评估，通常没有真实标签，因此每个设计选择的效果未知。在此，我们考察了两个设计维度：（1）递归构建了什么（证据状态），以及（2）什么控制它（决定何时停止的评判器）。为测量它们，我们定义了共识科学主张验证，并在此任务上测量这些效果，其中系统必须从开放文献中确立一项主张的共识立场。我们构建了一个新的共识主张数据集 ProClaim-eval，包含 718 项主张，带有 SUPPORT 和 REFUTE 金标签，来自五个专家整理的数据库，涵盖分子生物学、核物理和天文学。我们的工具 ProClaim 将证据状态持久化在模型上下文之外，因此可以在保持另一维度固定的情况下研究每个维度。与验证系统和通用智能体框架相比，ProClaim 位列前三，相对这些框架具有显著优势。我们发现，证据状态相比上下文内累积能提升性能，而且其中存储什么也很重要。此外，读取证据状态的训练评判器比固定轮数停止表现更好。一个单独训练且从未接触 ProClaim-eval 的评判器在五个子集中的三个上与金标签达成最高一致率，在这些子集上它与现成的 Claude Sonnet~4.6 评判器持平，并优于 Claude Haiku~4.5。我们的结果支持将结构化证据状态递归维护在模型上下文之外，作为科学智能体中验证主张的有效设计。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.40906 [cs.AI] |
| （或 arXiv:2610.40906v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.40906 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lun Ai [查看邮箱]
[v1]
2026年10月29日星期四 19:27:00 UTC（16,458 KB）
来源：arXiv cs.AI · arxiv.org