arXiv cs.AI· Haiwen Yi, Xinyuan Song·· 6 天前AI 评分34
多步 LLM 智能体中的执行框架诱导信念分歧如何测量
Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents
AI 导读
研究发现，即使任务、环境和底层 LLM 保持不变，执行框架（harness）也会塑造智能体对环境不断演变的信念。作者提出 belief-rollout 诊断方法，在 HIBench-Code、SWE-bench Verified 和 Terminal-Bench 上发现显著的跨框架信念分歧，这种分歧往往无法从最终任务成功中看出，却会传导为不同的下游动作。
正文 · AI 翻译
摘要：软件智能体在现代编码工作流中正变得越来越重要，它们通过与代码仓库的多步交互来解决复杂任务。这些系统的一个核心组件是执行框架（harness），它控制着底层 LLM 如何观察、作用于并验证其环境。我们表明，即使任务、环境和基础 LLM 保持不变，执行框架反过来也能塑造智能体对环境不断演变的信念。为了揭示这一效应，我们引入了一种信念展开（belief-rollout）诊断方法，用于追踪智能体所预期的世界状态和未来决策在不同执行框架下如何演变。我们进一步将界面引入的即时分歧与在更长时程中发展出的分歧区分开来。在包括 HIBench-Code、SWE-bench Verified 和 Terminal-Bench 在内的受控编码任务中，我们发现存在显著的跨执行框架信念分歧，这种分歧往往仅从最终成功与否无法察觉，并可能传播为不同的下游动作。基于这一观察，我们引入了 \textbf{信念不变世界建模（Belief-Invariant World-Modeling, BIWM）}，它揭示被执行框架执行过程所隐藏或压缩的证据，并对齐不同执行框架下产生的信念轨迹。我们的发现表明，执行框架设计能够系统性地塑造软件智能体如何理解其环境并对其采取行动，为构建和评估更可靠的编码智能体提供了实用指导。
| 评论： | 15 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.04528 [cs.AI] |
| （或 arXiv:2607.04528v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.04528 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haiwen Yi [查看邮箱]
[v1]
2026 年 7 月 5 日星期日 22:22:39 UTC（912 KB）
[v2]
2026 年 10 月 9 日星期五 17:59:01 UTC（3,517 KB）
来源：arXiv cs.AI · arxiv.org