arXiv cs.AI· Jiaqi Tang, Bingyu Shen, Lan Wei, Qing Lu, Bethel Ololade, Danny Galvis, Miles Q. Li, Bin Hu, Boyang Li·· 9 天前AI 评分37
智能体的“空头承诺”：当 Agent 承诺了运行时无法兑现的事
Empty Commitments: When Agents Promise What They Cannot Deliver
AI 导读
研究提出“空头承诺”概念，指智能体承诺在当前轮次后执行某项动作，但其工具或运行时无法兑现，与失信不同，这种空洞性在说话时即由配置决定，单轮即可检测。在覆盖 293 个后续请求、逐步增加持久化能力的 5 种设置基准上，4 个 8-14B 开源权重模型在无工具且未说明时失败率达 45.9%，某前沿模型失败率 4.4% 但靠的是推迟和追问而非使用已有工具。
正文 · AI 翻译
摘要：一个说“我明天会提醒你”的聊天机器人，在用户再次输入之前不会再次运行。我们把这样的承诺称为空承诺：一种在当前轮次之后采取行动的承诺，而智能体的工具或运行时中没有任何东西能够执行它。与违背承诺不同，其空洞性由智能体在说话时刻的配置决定，因此可以在单轮中检测出来，无论是在部署前还是在运行时。我们在承诺语义之上定义空承诺，包含三种失败类型、一个针对工具可以使之成真的承诺的锚定条件，以及一个结果分类法，将这些失败与诚实的推迟和过度拒绝区分开来。我们构建了一个检查器（一个对设置无感知的检测器、确定性可行性规则和一个响应评判器），并针对 400 个人工标注进行了验证。在一个受控基准上，包含跨五种设置的 293 个后续请求，每次添加一种持久化能力，当不存在工具且未作任何说明时，四个 8-14B 参数的开源权重模型在 45.9% 的响应上失败。一个前沿模型失败率为 4.4%，但它是通过推迟和询问达到这一点的，而不是使用它拥有的工具：在没有启用调用的情况下做出的承诺在每个模型中都存在。告诉模型其运行时——最廉价的修复——在无可作为的情况下将开源权重模型的失败率削减近一半，而在存在调度器的情况下则毫无改变；指令性能力卡片消除了大部分失败，但过度拒绝的代价最大；在循环中运行检查器并重写被标记的回复能以更小的代价消除更多失败。代码、提示词、模型输出和人工标注均已发布。
| 评论： | 25 页，10 张图，13 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.01045 [cs.AI] |
| （或 arXiv:2610.01045v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.01045 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Boyang Li [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 04:37:37 UTC（22 KB）
[v2]
2026 年 10 月 8 日星期四 06:01:55 UTC（206 KB）
来源：arXiv cs.AI · arxiv.org