arXiv cs.AI· Aman Mehta, Anupam Datta·· 3 天前AI 评分32
LLM 智能体为何过早定型：诊断过早承诺问题
When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents
AI 导读
研究提出"表征承诺"指标，通过重复运行中同一步骤的隐藏状态相似度衡量 LLM 智能体行为何时稳定。在 Llama-3.1-70B 运行 ReAct 于 HotpotQA 上，第 4 步相似度越高，整条轨迹变异性越低（r = -0.35），该模式在另外两个模型和 StrategyQA 上复现。
正文 · AI 翻译
摘要：使用工具的 LLM 智能体会就搜索什么、信任哪些证据以及下一步做什么做出早期选择。一个错误的早期选择会引导之后的每一次工具调用，因此智能体可能产生一个连贯但错误的结果。现有评估无法揭示这一过程：最终答案评分只在完成后进行，而且即使每次运行都是错的，多次运行之间的一致性也可能很高。我们追问，隐藏状态是否揭示了重复运行已经稳定进入某种行为。我们的贡献有三方面。第一，我们引入表征承诺（representational commitment），它衡量同一步骤上重复运行之间的隐藏状态相似度。在 Llama-3.1-70B 于 HotpotQA 上运行 ReAct 时，我们表明第 4 步相似度越高，与整条轨迹变异性越低相关（r = -0.35）；我们在动作序列中发现同样的模式，并在另外两个模型和 StrategyQA 上复现了该结果。这为研究智能体行为何时稳定提供了一种内部度量。第二，我们确立了该度量的适用范围。共享证据解释了所观察到关联的很大一部分，HotpotQA 的结果在困难问题上消失，正确和自信错误的问题存在重叠。因此我们表明，该度量检测的是稳定性，而非正确性，并且其本身无法确立承诺是过早的。第三，我们评估了监测与干预。一个由三次部分运行构建的监测器可预测整条轨迹变异性（平均 AUROC 0.81）。与词元匹配的填充提示相比，承诺提示将变异性降低 28%，但在校正后相对于标准智能体并不显著，且并未提高准确率。总之，这些贡献提供了一个测量与评估框架，用于研究智能体轨迹如何稳定，以及测试何时额外的证据、采样或审查可能有用。
| 评论： | 23 页，16 幅图。最终版，COLM 2026 智能体行为研讨会 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.22936 [cs.AI] |
| （或 arXiv:2606.22936v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.22936 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Aman Mehta [查看电子邮件]
[v1]
2026 年 6 月 22 日星期一 07:13:13 UTC（563 KB）
[v2]
2026 年 10 月 12 日星期一 19:16:13 UTC（382 KB）
来源：arXiv cs.AI · arxiv.org