arXiv cs.AI· Yaxin Ma, Wenbo Zhang, Satya Krishna Pothapragada, Alina Zare·· 2 天前AI 评分27
GraphACM：基于图的动作一致性度量，用于 LLM 智能体的不确定性量化
GraphACM: Graph-based Action Consistency Measurement for Uncertainty Quantification in LLM Agents
AI 导读
研究者提出 GraphACM，一种基于图的框架，通过将同一任务多次 rollout 中的等价状态合并为有向动作标注图，在共享决策状态上比较动作，实现细粒度行为一致性度量与不确定性量化。
正文 · AI 翻译
摘要：重复执行中的行为一致性为评估大型语言模型（LLM）智能体的可靠性提供了有信息量的信号。然而，现有方法通常用单一的任务级分数来概括一致性，而没有识别行为差异发生在何处，也没有判断动作是否在等价的决策情境下进行比较。我们提出一个基于图的框架，用于细粒度行为一致性测量与不确定性量化。给定同一任务的多次 rollout，我们将等价状态合并为一个有向的、动作标注的图，从而能够在共享决策状态下进行动作比较。我们引入节点级和全局的动作一致性度量，使用全局一致性分数作为不确定性的代理来预测任务成功或失败。在 ALFWorld、AppWorld 和 WebShop 上对三个 LLM 进行的实验表明，我们的度量与任务成功正相关，并在任务成功预测上达到平均 AUROC 0.811，优于最强的行为一致性基线（0.729）和言语化置信度（0.769）。这些结果凸显了状态条件化行为一致性的有效性，并精确指出了智能体动作一致之处。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22031 [cs.AI] |
| （或 arXiv:2610.22031v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22031 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yaxin Ma [查看邮箱]
[v1]
2026年10月15日星期四 15:07:15 UTC（534 KB）
来源：arXiv cs.AI · arxiv.org