arXiv cs.AI· William Jeffries·· 11 小时前AI 评分42
工具输出格式化器如何误导 AI 智能体及其验证器
Who Verifies the Tools? How Warped Formatters Mislead Agents and Their Verifiers
AI 导读
研究发现，工具输出格式化器即使计算正确，也可能因省略搜索限制、结果上限或标识符命名空间而误导 AI 智能体与验证器。改用完整措辞后，四类失败中有三类的无依据声明大幅减少，某测试中验证器从 90/90 次接受错误答案变为 90/90 次拒绝。
正文 · AI 翻译
摘要：智能体和验证器往往依赖工具打印出的文本，而该文本可能歪曲工具实际执行的操作，即使工具的计算本身是正确的。我们在纽约皮尔苏茨基研究所使用的一个生产级 RAG 研究系统中看到了这种情况：工具输出格式化器误导了智能体，使其向用户提供了错误或不完整的信息。每个工具都正确完成了自己的任务，但其输出遗漏了搜索限制、结果数量上限或标识符命名空间。我们还复现了一个在发布前的代码审查中被发现的未标注估算值。我们研究了这些格式化器是否会误导智能体和验证器，以及修复后的措辞能带来多大帮助。我们使用两个格式化器版本将工具结果提供给智能体：一个带有主要遗漏，另一个清晰陈述了所有缺失的细节。仅这一差异就改变了智能体的声明内容以及验证器所接受的内容。在四类失败类型中的三类里，缺乏支持的智能体声明大幅减少。在一项测试中，验证器从 90 次全部接受错误答案变为 90 次全部拒绝。一项对照实验表明，一旦向验证器提供缺失的事实并要求其判断正确性，它们就能发现这些错误。我们在一次探索性演示中附上了与 Codex 和 Claude Code 配合使用的审计提示词，该提示词是在预先了解我们自身系统缺陷的情况下编写的。当指向我们自身系统的旧版本时，它重新发现了仍然存在的缺陷，并额外发现了十二个我们尚未记录的缺陷。当指向 OpenClaw 和 Hermes 这两个最知名的开源智能体系统时，它在两者中都发现了扭曲的格式化器。我们提交了 PR 来修复两者，其中 OpenClaw 的修复已被合并。从业者如今可以在自己的系统上运行同样的提示词。
| 评论： | 被接收为 NeurIPS 2026“Who Verifies the Agents?”研讨会的海报（非存档）。12 页，3 幅图。代码与数据：此 https URL |
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.32110 [cs.AI] |
| （或 arXiv:2610.32110v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32110 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：William Jeffries [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 03:22:12 UTC（41 KB）
来源：arXiv cs.AI · arxiv.org