arXiv cs.AI· Yubo Li, Ramayya Krishnan, Rema Padman·· 3 天前AI 评分37
读对却做错：诊断 System One 模型在 Agent 循环中的决策失败
Reading Right, Acting Wrong: Diagnosing Decision Failures of System One Models in Agent Loops
AI 导读
研究在涵盖客服策略、工具调用、网页导航与编程的冻结基准上，为每个下一步动作问题配对同一状态的事实探针，测试了十七个快速 System One 模型与一个推理模型。结果显示多数错误动作发生在正确读取之后，且系统越准确，这类错误占比越高；当探针事实可证明决定动作时，读全事实的模型仍无法组合它们，而用代码组合模型自身答案可修复该失败。真实状态中缺失的往往不是事实，而是下一个子目标。
正文 · AI 翻译
摘要：System One 模型通过单次遍历对给定的一组选项进行评分，从而选择智能体的下一个动作。这使其快速且成本低廉，但当它们做出错误选择时，却无从检查：是模型误读了智能体所看到的内容，还是正确读取后仍然做出了错误行为？我们从行为层面回答这一问题。在一个由模拟环境、客服策略、工具使用、网页导航和编码中的智能体决策状态组成的冻结基准上，我们将每个下一动作问题与关于同一状态的事实性探测配对，每个问题独立作答。在十七个快速系统和一个推理模型中，答案是一致的：大多数错误动作发生在正确读取之后，而且系统越准确，其错误中属于这种形式的比例就越高。这些错误并非噪声；它们聚集在各类系统中相同的状态上。在探测到的事实可证明决定动作的情况下，即使模型读取了每一个事实，仍然无法将它们组合起来，而它们自己由代码组合而成的答案修复了这一失败。在真实状态中，缺失的往往不是一个事实，而是下一个子目标。
| 评论： | 发布初始版本以鼓励公开讨论并分享初步发现。对其他开源 System One 模型的评估正在进行中 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18579 [cs.AI] |
| （或使用 arXiv:2610.18579v1 [cs.AI] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.18579 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yubo Li [查看电子邮件]
[v1]
2026年10月13日星期二 15:43:30 UTC（1,206 KB）
来源：arXiv cs.AI · arxiv.org