arXiv cs.AI· Xun Liu, Yi Evie Zhang, Vira Kasprova, Parisa Rabbani, Pardis Sadat Zahraei, Tianyu Zhang, Ali Ebrahimpour-Boroojeny, Varun Chandrasekaran·· 10 小时前AI 评分58
AgentAbstain:LLM 智能体是否知道何时不该行动
AgentAbstain: Do LLM Agents Know When Not to Act?
AI 导读
研究团队提出 AgentAbstain,这是首个系统评估工具型 LLM 智能体“弃权”能力的配对任务基准,覆盖 8 类弃权场景、42 个可执行沙箱环境中的 263 对任务。
正文 · AI 翻译
摘要:基于大语言模型(LLM)的智能体系统越来越多地被部署用于自主任务,但现有评估大多关注任务成功与否,而非智能体是否知道何时应当放弃。这一空白带来了真实风险:在存在歧义、约束冲突或工具故障时,智能体可能执行非预期且不可逆的操作。为填补这一空白,我们提出了首个针对智能体式放弃的系统性评估框架:即使用工具的 LLM 智能体识别何时不应行动的校准能力。其核心是 AgentAbstain,一个基于智能体原生分类体系的配对任务基准,涵盖执行前推理与运行时发现两类共 8 种放弃场景。它包含 42 个可执行沙箱环境中的 263 个配对任务,每一对由一个应行动任务和一个应放弃变体组成,后者通过对指令、工具或环境状态进行受控扰动生成。为扩展这种配对设计并抵御数据污染,我们提出了 AbstainGen,一个全自动流水线,可端到端地合成沙箱环境并生成配对任务,并通过确定性重放和语义 LLM 评判器进行验证;新的任务实例可按需重新生成,三位独立标注者将 94-98% 的抽样任务评为设计良好。在 4 种智能体框架下的 17 个前沿 LLM 中,表现最好的智能体(Gemini 3.1 Pro)仅达到 59.5% 的配对准确率(即在每个配对任务的行动侧和放弃侧均正确)。更重要的是,放弃能力在很大程度上独立于通用任务求解能力,这表明仅靠扩展任务求解能力无法弥合这一差距。我们进一步识别出诸如事后放弃之类的失败模式,即智能体在识别到放弃触发条件之前就已执行了不可逆操作。我们的代码和数据集已在 此 http URL 开源。
| 评论: | 65 页,13 张图 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2607.10059 [cs.AI] |
| (或 arXiv:2607.10059v2 [cs.AI] 为本版本) | |
| https://doi.org/10.48550/arXiv.2607.10059 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Xun Liu [查看邮箱]
[v1]
2026 年 7 月 11 日星期六 00:57:36 UTC(7,775 KB)
[v2]
2026 年 11 月 18 日星期三 03:51:43 UTC(7,787 KB)
来源:arXiv cs.AI · arxiv.org