arXiv cs.AI· Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin·· 10 天前AI 评分27
Critic Experience Bank：为 LLM 智能体自演化的步级置信度估计
Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents
AI 导读
研究者提出 Critic Experience Bank（CEB），一个免训练框架，将已完成轨迹的反馈转化为可复用证据，用于 LLM 智能体的步级置信度估计。CEB 通过为动作打上事后生产力伪标签并检索相关经验，在无需参数更新或真实步级标签的情况下适配任务流。
正文 · AI 翻译
摘要：LLM 智能体在有状态环境中运行，其中单个错误步骤可能浪费有限的交互预算，或在任务失败变得明显之前造成不可逆的影响。因此，可靠部署需要步骤级置信度估计：在执行之前，估计所提议动作将推进任务的概率。现有的 LLM 置信度估计器通常是为固定任务上下文和评估标准下的静态问答而设计的。然而，对于智能体而言，其动作生产力取决于仅在执行后才观察到的环境状态转移。为应对这一挑战，我们引入了 Critic Experience Bank（CEB），这是一个无需训练的框架，可将已完成轨迹中的反馈转化为用于未来置信度判断的可复用证据。在每条轨迹之后，LLM 为各个动作分配事后生产力伪标签，并将其与评论者原始的预执行置信度、任务上下文、动作和观察到的反馈一起存储。对于新动作，通过检索相关的有生产力和无生产力经验，CEB 将预执行置信度建立在已完成轨迹的反馈之上，以条件化一个固定的 LLM 评论者。因此，CEB 可在任务流上自适应，而无需在部署时进行参数更新或使用真实步骤标签。在涵盖离线和实时网页导航、移动 GUI 和 shell 任务四个智能体基准，以及三个评论者主干上，CEB 在基于规则的步骤标签下，在所有十二个基准-主干设置中实现了最佳或并列最佳的 ECE、Brier 分数和 AUC，相对于最强的无需训练基线，ECE 最多降低 53.8%。其置信度分数还提升了选择性执行和模拟任务成功中的下游效用。
| 评论： | 20 页，5 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.12397 [cs.AI] |
| （或 arXiv:2607.12397v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.12397 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yaopei Zeng [查看电子邮件]
[v1]
2026 年 7 月 14 日星期二 06:17:09 UTC（346 KB）
[v2]
2026 年 10 月 6 日星期二 00:26:43 UTC（349 KB）
来源：arXiv cs.AI · arxiv.org