arXiv cs.AI· Han Luo, Bingbing Wen, Lucy Lu Wang·· 11 小时前AI 评分55
Agentic Abstention:智能体该在何时停止行动而非继续调用工具
Agentic Abstention: Do Agents Know When to Stop Instead of Act?
AI 导读
论文提出 Agentic Abstention 问题,即智能体在不确定时该何时停止行动,并在网页购物、终端环境和问答场景中评测了 13 个 LLM 智能体系统与 2 种智能体脚手架,覆盖超过 28000 条任务指令。
正文 · AI 翻译
摘要:LLM 智能体被期望在多个回合中行动,使用搜索、浏览界面和工具来完成用户目标。然而,并非每个目标都被明确指定或在可用环境中可实现。在这种情况下,一个可靠的智能体应当认识到进一步交互不太可能有帮助,并放弃额外的工具调用。我们定义了智能体弃权(Agentic Abstention),即在不确定性下决定智能体何时应停止行动的问题。与通常被评估为单轮回答或弃权决策的标准 LLM 弃权不同,智能体弃权是一个序贯决策问题:智能体在每一回合都可以回答、弃权或收集更多信息,而弃权的必要性可能只有在与环境交互之后才会变得清晰。我们在网络购物、终端环境和问答任务中研究了这一问题,评估了 13 个 LLM 作为智能体的系统和 2 个智能体脚手架,涉及超过 28,000 条任务指令。我们的结果表明,主要挑战不仅在于智能体能否弃权,还在于它们何时弃权。有些智能体在本应弃权时从不弃权,而另一些则只在多次不必要的交互之后才弃权。这一差距在那些指令看似可行、直到环境揭示并非如此的任务上尤为明显(例如,没有与指令匹配的有效结果)。我们进一步发现,模型规模、推理和智能体脚手架以不同方式影响弃权,其中更大或能力更强的模型有时在及时弃权方面表现更差。最后,我们介绍了 CONVOLVE,一种用于改进智能体弃权的上下文工程方法,它将交互轨迹提炼为可复用的停止规则。在留出的 WebShop 任务上,CONVOLVE 在不更新模型参数的情况下显著改善了及时弃权,将 Llama-3.3-70B 的及时召回率从 26.7 提高到 57.4。我们的数据集和代码可在 此 https URL 获取。
| 评论: | 已被 NeurIPS 2026 接收。更新后的 camera-ready 版本,修订了参考文献并做了少量更正 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2606.28733 [cs.AI] |
| (或 arXiv:2606.28733v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2606.28733 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Han Luo [查看电子邮件]
[v1]
2026年6月27日星期六 04:49:37 UTC(1,067 KB)
[v2]
2026年11月5日星期四 12:19:33 UTC(1,076 KB)
来源:arXiv cs.AI · arxiv.org