arXiv cs.CL· Delip Rao, Ahmed Muharram, Chris Callison-Burch·· 3 天前AI 评分32
同一主张，不同解读：LLM 智能体如何消解科学主张中的歧义
Same Claim, Different Interpretations: How LLM Agents Resolve Ambiguity in Scientific Claims
AI 导读
研究者提出 Claim Cards，让科学主张验证智能体在收集证据前以九个字段显式记录自身解读，并标注为 stated、inferred 或 default。
正文 · AI 翻译
摘要：协同科学家和代理式科学主张验证器正越来越多地被用于评估各科学领域的主张。为人类专家撰写的自然语言科学主张往往表述不充分，因此可以有多种站得住脚的解释。此类验证器通常选择其中一种解释，而且往往是默认地选择，而基准测试则将其判定与专家标签进行比对评分，却未以可比的形式记录专家的解释或验证器的解释。这导致与专家标签的分歧无法追溯到证据或解释，也导致算力被耗费在未经检验的解释上。我们引入 Claim Cards，使此类解释在推理过程中本身变得明确。Claim Card 在收集证据之前将验证器的解释记录为九个字段，每个字段标记为已陈述、推断或默认。为测试代理的解释是否会改变其判定，我们在 60 条经专家标注的材料科学和生物医学主张上，对每条主张用 GPT-5.4 代理运行五次，分别在有卡片、无卡片以及一张卡片在多次运行中冻结不变的条件下进行（共 900 次运行）。超过 40% 的卡片字段未被标记为已陈述，而卡片使一次运行中 GPT-5.4 的 token 和时间增加约十分之一，却未可测量地改变与专家标签的一致性。代理自身的解释在多次运行之间存在差异，尽管在单条主张内这种差异并未可测量地影响判定。然而，对冻结卡片中某一字段的有意更改——使量词变为全称，或使支持阈值更严格——改变了约三分之一主张的判定，而随机预期约为七分之一（每次编辑 p < 0.001）。在 24 条使用计算工具运行的材料科学主张上，更严格的阈值也改变了代理要求这些工具计算的内容。因此我们认为，判定应与其解释一同报告，基准测试可以公布每个标签背后的解释。
| 评论： | 51 页，7 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20457 [cs.CL] |
| （或 arXiv:2610.20457v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20457 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Delip Rao [查看电子邮件]
[v1]
2026年10月14日星期三 16:42:05 UTC（332 KB）
来源：arXiv cs.CL · arxiv.org