跳到正文
arXiv cs.AI· Egor Pakhomov, Erik Nijkamp·· 10 小时前AI 评分31

将智能体失败归因于其历史需要可执行的干预验证:迈向一种报告标准

Attributing Agent Failures to Their History Needs an Executed Counterfactual: Toward a Reporting Standard

AI 导读

针对长程智能体失败解释普遍依赖对完整轨迹打标签的分类法,论文主张把智能体行为归因于其历史时必须附带干预验证证据:冻结可执行的中途状态、只改动智能体可见的历史并继续运行,且需提供与估计目标匹配的重放证书。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:关于长时程智能体为何失败的已发表解释,通常是对已完成轨迹进行分类标注的体系:由评判者阅读记录并指出失败类型。我们认为,将智能体的行为归因于其历史的论断,应当带有经干预验证的证据,或逐实例提供,或通过经过验证的估计器提供:冻结一个可执行的中途状态,仅改变智能体所看到的历史,然后继续运行——以执行而非从记录推断的方式,在一个其恢复过程已被测量的状态上进行,并附上与估计目标相匹配的重放证书。我们命名的四类操纵各自都有先例,且已有若干方法从检查点、重新执行的前缀或记录的对话状态执行干预(例如 DoVer、REFLECT、Min 等人、Who&When Pro、Causal Agent Replay),但均未报告经过测量的重放证书。随后给出两项警示性测量,二者均未应用该标准:一项载体分类体系,其“集中度”无法与基准构建相区分(调整后优势比 1.15,区间跨过 1);以及哈希完全相同的快照,将其恢复到相同种子的进程中时,在 24 个状态中有 24 个彼此一致,而与实时延续相比则在 24 个中有 9 个和 20 个不一致。恢复随机流的捕获位置后,全部 24 个状态均与实时运行一致。
评论: 已被 NeurIPS 2026 的 IAB Workshop(Interpreting Agent Behavior)接收(非存档)。20 页
主题: 人工智能(cs.AI)
引用为: arXiv:2611.05650 [cs.AI]
  (或 arXiv:2611.05650v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.05650

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Egor Pakhomov [查看电子邮件]
[v1] 2026 年 11 月 3 日星期二 21:33:48 UTC(52 KB)

来源:arXiv cs.AI · arxiv.org