arXiv cs.AI· Song Xu·· 10 小时前AI 评分42
语言模型智能体工具调用的故障注入研究:幂等性不等于可恢复性
Idempotency Is Not Recovery: A Fault-Injection Study of Language-Model Agent Tool Actions
AI 导读
一项针对语言模型智能体工具调用的故障注入研究发现,幂等性无法替代恢复机制。在 Windows 和 Linux 上各进行 7,513 次试验,完整配置在 200 组已知崩溃重放对中记录 0/200 重复副作用,而每个简化基线均为 117/200。
正文 · AI 翻译
摘要:当语言模型智能体的工具调用被中断时,该操作可能已在未经确认的情况下改变了外部系统。重试有重复执行的风险;假定成功则可能掩盖一个从未发生的操作。我们在一个受控的智能体运行时中研究这些失效模式,该运行时结合了授权、操作账本、目标端幂等性、对账和证据封存。我们注入十类单主机故障,并使用独立于运行时账本的目标端预言机比较四种配置和三种消融。在 Windows 和 Linux 上,各进行了 7,513 次试验,使用了来自 24 个构造案例的 96 条捕获的模型响应。在 200 个已知的原始崩溃与重放配对中,完整配置记录了 0/200 次重复效应,而每个更简单的基线均为 117/200。一项与账本相关的消融出现了 170/170 次孤立效应,而完整配置为 0/170;恢复成功为 200/300,而完整配置为 300/300。禁用对账使 100/100 个已知的效应后崩溃结果处于模糊状态,尽管未观察到重复。一项在初始结果之后设计并复用相同输入的独立补充实验,在响应丢失或延迟下发现了相似的模式。完整运行时的故障开放吞吐量约为七分之一,而注入的证据写入故障使每个平台 100 次试验中有 75 次未解决。这些发现区分了重复抑制与恢复,并确定了它们在所测试基准内测得的可靠性和性能权衡。
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23353 [cs.SE] |
| (或此版本的 arXiv:2611.23353v1 [cs.SE]) | |
| https://doi.org/10.48550/arXiv.2611.23353 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Song Xu [查看电子邮件]
[v1]
2026年11月17日星期二 13:49:49 UTC(22 KB)
来源:arXiv cs.AI · arxiv.org