arXiv cs.AI· Priyanka Mary Mammen, Emil Joswin, Srujananjali Medicherla·· 3 天前AI 评分38
智能体知道自己成功了吗？从内部表征校准智能体置信度
Do Agents Know When They Succeed? Calibrating Agent Confidence from Internal Representations
AI 导读
研究提出 Latent Trajectory Dynamics（LTD）与 Action Representation Probe（ARP）两种方法，从模型内部表征预测多轮智能体任务能否成功。在 Bash、SQL、Python 三个交互基准和 Qwen14B、Qwen7B、DeepSeek6.7B 三个模型上，两方法均优于表层生成与序列校准基线，且无需改动提示词或多轮采样，实现零开销可靠性监控。
正文 · AI 翻译
摘要：随着智能体系统在安全关键应用中被迅速采用，衡量与智能体动作相关的置信度至关重要。与传统的机器学习系统相比，智能体工作流具有复杂的失败模式，涉及规划、工具调用和动态环境交互。在本文中，我们研究模型的内部表示是否能在多轮智能体设置中为最终任务成功提供更强的信号。我们引入了两种互补方法：潜在轨迹动力学（LTD），它总结交互轨迹中残差流表示的变化；以及动作表示探针（ARP），它根据动作决策时形成的表示来预测成功。在三个交互式基准（Bash、SQL、Python）和三个模型系列（Qwen14B、Qwen7B、DeepSeek6.7B）上，我们的方法始终优于表面级生成和基于序列的校准基线，提供了一种零开销的可靠性监控器，既不需要修改提示，也不需要多样本 rollout。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.09448 [cs.AI] |
| （或 arXiv:2609.09448v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.09448 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Priyanka Mary Mammen [查看电子邮件]
[v1]
2026年9月8日星期二 20:58:49 UTC（23 KB）
[v2]
2026年10月12日星期一 22:12:21 UTC（23 KB）
来源：arXiv cs.AI · arxiv.org