跳到正文
arXiv cs.AI· Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi, Maziar Raissi·· 4 小时前AI 评分45

同样的模拟,不同的证据:检索式工具输出在哪里损害 LLM 智能体的准确率

Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy

AI 导读

用 PHREEQC 地球化学模拟器回答 158 道执行验证选择题时,通过分节索引检索报告而非放入上下文,GPT-5.1 和 GPT-5.2 准确率分别下降 11.3 和 7.9 个百分点,Claude Opus 4.6 与 Claude Sonnet 4.6 未见可检测损失。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:能算出正确答案的 LLM 智能体仍可能给出错误回答。智能体框架越来越多地将冗长的工具输出排除在上下文窗口之外,保存到文件中,由智能体按需搜索或读取。我们以一个真实的科学工具来探究这种做法在何处造成准确率损失:PHREEQC,这是美国地质调查局(USGS)广泛使用的地球化学模拟器,其报告长度可达 846.8k 字符,且其确定性使每个打印值都可追溯。智能体用它回答 158 道经执行验证的多选题。当智能体通过章节索引而非上下文读取模拟器报告时,GPT-5.1 和 GPT-5.2 的准确率分别下降 11.3 和 7.9 个百分点,而 Claude Opus 4.6 和 Claude Sonnet 4.6 未表现出可检测的损失。重新运行全部 11,007 次记录的模拟器调用显示,两个 GPT 模型计算关键值的频率与之前大致相同;变化的是它们作答所依据的证据。在检索模式下,它们常常跳过报告,依据自身更高精度的输出文件作答,并错误舍入到相邻选项,我们将这种失败称为证据替换。在模拟固定的情况下,检索仍使 GPT-5.2 损失 9.4 个百分点。对于 GPT-5.4,更频繁的正确模拟掩盖了约十点的证据使用损失,使净变化与零无法区分。指明权威输出使三个 GPT 模型相比普通检索提升 6.3-7.9 个百分点;对于 GPT-5.1 和 GPT-5.2,将能容纳的输出内联同样有效,而要求正确舍入则无效。智能体框架中的上下文管理选择应以准确率损失发生在何处来评判,而不仅看最终准确率。
评论: v2:修订并扩展。新增分析(填空运行、截断分析、专家评审)、重绘图表及重写文本
主题: 人工智能(cs.AI)
引用为: arXiv:2610.26836 [cs.AI]
  (或 arXiv:2610.26836v2 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2610.26836

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Ke Zhang [查看邮箱]
[v1] 2026年10月19日星期一 17:57:41 UTC(197 KB)
[v2] 2026年11月16日星期一 19:04:46 UTC(164 KB)

来源:arXiv cs.AI · arxiv.org