arXiv cs.AI· Ashutosh Hathidara·· 3 天前AI 评分36
LLM 智能体能否学会预测自身失败？基于最终结果的结果锚定置信度校准
Can an Agent Learn to Predict Its Own Failure? Outcome-Grounded Confidence Calibration in LLM Agents
AI 导读
研究者提出一种按多步任务最终结果校准 LLM 智能体置信度的方法：在 GRPO 下用同一任务的一组 rollout 提供成功标签，并用恰当评分规则对每步置信度打分。
正文 · AI 翻译
摘要：控制一个执行任务的 LLM 智能体，意味着在长时程任务的每一步都要决定：是信任它的下一步动作、弃权，还是移交给人类。这一决策需要一个逐步的置信度信号，用来预测当前 rollout 最终是否会成功。智能体自己口头表达的置信度是天然的候选，但现有的强化学习方法是将它与当前步骤决策的正确性进行校准。我们提出一种方法，将其与多步回合的最终结果进行校准：在 GRPO 下，一个任务的 rollout 组提供成功标签，而一个适当的评分规则根据实际结果对每一步的置信度打分。在 ALFWorld、TextWorld 和 WebShop 环境中，对 Qwen2.5-7B 智能体记录轨迹进行离线 RL 时，步骤置信度相对于回合结果的 AUROC 从接近随机提升到 0.68-0.85，并且智能体最有信心的前 10% 步骤的成功率约为平均水平的 4.3 倍。在实时 ALFWorld 智能体上进行在线 RL 时，四种校准奖励改善了早期步骤的 AUROC，期望校准误差从 0.42 降至 0.12 以下，选择性执行优于未训练智能体和仅格式的 RL 对照组，且不降低任务成功率。我们还引入了一种评估协议，将回合深度、任务难度和尝试级预见性分离开来，从而显示出增益所在：训练后的智能体从第一步就能识别出哪些任务会失败，而在同一任务中区分成功尝试与失败尝试则更难，不过在 TextWorld 上出现了一些早期窗口信号。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.18614 [cs.AI] |
| （或 arXiv:2610.18614v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18614 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ashutosh Hathidara [查看电子邮件]
[v1]
2026年10月13日星期二 16:00:01 UTC（201 KB）
来源：arXiv cs.AI · arxiv.org