arXiv cs.AI· Ayush Sawarni, Wenqian Xing, Tijana Zrnic, Ramesh Johari, Vasilis Syrgkanis·· 10 小时前AI 评分39
何时干预：AI 智能体的因果评估框架
Knowing When to Intervene: Causal Evaluation of AI Agents
AI 导读
研究者提出首个有方法论基础的框架，用于评估 AI 智能体轨迹中随机干预的因果效应，借助在验证、筛查等随机干预下收集的较小规模轨迹数据集，估计上下文干预策略的动态因果效应。
正文 · AI 翻译
摘要：当前对智能体 AI 系统的评估主要依赖基准测试。然而，基准测试的静态特性使其无法说明在部署时审计干预的价值。为了可靠部署，我们通常需要在智能体的轨迹中判断是否进行干预，例如通过验证智能体当前的输出或引导其采取不同的行为，使用人工审查或更昂贵的模型或耗时的智能体监督。此类干预的价值本质上是一个因果推断问题，即询问此类干预的因果效应是否对最终结果有益。由于问题的动态特性，估计这一因果效应尤其具有挑战性：干预的影响取决于当前上下文和环境，以及智能体未来的行为。我们开发了首个有方法论基础的框架，用于评估智能体轨迹内随机干预的因果效应。通过利用在随机干预（如验证或筛查）下收集的相对较小的智能体轨迹数据集，我们可以估计一大类（上下文相关的）干预策略的动态因果效应。我们估计的结构参数还可用于构建安全排行榜，以反映各种智能体动作的风险，从业者可据此确定审计优先级。将我们的方法应用于 tau-bench Retail、ToolSandbox 和 ImpossibleBench，我们发现干预效果在智能体动作和状态之间差异很大。更广泛地说，我们的工作提出了因果推断与智能体评估交叉领域的一个丰富研究议程，我们认为这对于在现实世界中可靠、安全地部署 AI 智能体至关重要。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；计量经济学（econ.EM）；方法论（stat.ME） |
| 引用为： | arXiv:2611.09792 [cs.AI] |
| （或此版本的 arXiv:2611.09792v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.09792 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ayush Sawarni [查看电子邮件]
[v1]
2026年11月6日星期五 17:46:53 UTC（679 KB）
[v2]
2026年11月10日星期二 00:34:33 UTC（681 KB）
来源：arXiv cs.AI · arxiv.org