arXiv cs.AI· Kavienan Jegatheesan, Gayathri Lihinikaduarachchi·· 10 天前AI 评分30
当工具说谎：工具反馈被污染下数学智能体的可靠性
When Tools Lie: Reliability of Mathematical Agents Under Corrupted Tool Feedback
AI 导读
研究用隐藏拦截器把数学智能体的工具调用结果替换为看似合理的错误信息，在 31 道题上测试四种验证设计。无验证时准确率从 100% 跌至 72.4%，强制同上下文反思可完全恢复到 100%，可选验证只有在模型主动调用时才提升准确率。显式检测后完全重启问题在 100% 的情况下恢复成功，表明验证器可用性与验证策略是数学智能体可靠性的两个独立组成部分。
正文 · AI 翻译
摘要：数学问题求解通常需要确定性的计算步骤，智能体将这些步骤委托给工具并隐式地信任它们。然而工具可能会静默失败，返回看似合理但错误的结果。智能体能在多大程度上检测并纠正被破坏的工具调用输出？我们通过一个受控的破坏框架来研究这一问题，其中隐藏的拦截器会在目标问题上用看似合理的错误信息替换工具调用结果。我们在 31 个问题上评估了智能体，采用四种验证设计，包括无验证（基线）、强制同上下文反思、可选的全新上下文验证以及可选的结构化验证。在没有验证的情况下，破坏会导致准确率急剧下降，从 100% 降至 72.4%。强制反思可将这一性能完全恢复到 100%。可选验证仅在模型主动调用时才能提高准确率。我们的结果表明，检查频率与鲁棒性差异密切相关，而不平等的调用阻碍了对验证器质量的受控比较。一项支持性的恢复实验表明，在明确检测到问题后，完全重启问题在 100% 的情况下都能成功。这些发现表明，验证器的可用性和验证策略是数学智能体可靠性的两个独立组成部分。强制策略强制执行验证，而可选策略则取决于模型自身是否选择调用它。
| 评论： | 8 页，2 幅图，3 张表。已被 NeurIPS 2026 第六届数学推理与人工智能研讨会（MathAI）接收 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.08097 [cs.CR] |
| （或使用 arXiv:2610.08097v1 [cs.CR] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.08097 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Kavienan Jegatheesan [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 10:28:19 UTC（1,115 KB）
来源：arXiv cs.AI · arxiv.org