arXiv cs.AI· Siddharth Jain, Venkat N. Vedam·· 12 小时前AI 评分38
准确率不是答案：评估 AI 智能体重启监控器的决策价值框架
Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
AI 导读
一项研究提出用决策价值而非分类准确率评估 AI 智能体重启监控器，分析显示固定 90% 准确率的监控器可因替换尝试的剩余预算成功率不同，在成功率上从 5 个百分点损失摆动到 35 个百分点增益。
正文 · AI 翻译
摘要：仅凭分类准确率以及真阳性和假阳性率，并不能判断重启 AI 智能体是否会提高成功率。我们针对零监控开销的独立干净重启，采用精确的告警到动作同一性，通过分析表明：一个固定 90% 准确率的监控器，其成功率可以从五个百分点的损失摆动到 35 个百分点的增益，而这完全取决于替换尝试的剩余预算成功概率。我们引入两种以决策术语评估监控器和进度信号的技术。第一，决策充分性准则，即 Blackwell 实验比较的二元动作特化，它识别出哪些进度表示或上下文压缩保留了在指定动作之间做出最优选择所需的信息，且与轨迹重建保真度无关。第二，有限样本、无模型的决策审计，利用现有智能体轨迹上的同时二项区间，无需额外的模型调用，在所述采样假设下证明对“重启”或“继续”的偏好，或在证据不足时返回“弃权”。在一项针对 SWE-bench Verified 中 19 个选定 SymPy 问题的 194 次外部评估模型执行的研究中，并对其中 130 条轨迹进行回顾性审计，我们发现 2.29 个百分点的表观重启增益可追溯到单个幸存的失败尝试，第二个模型上出现 42.29 个百分点的损失，在预期任务队列上初始增益未获正向复现，且 103 次实时比较中零次达到指定的认证标准。这些结果促使我们通过恢复机会、决策价值和统计支持来评估智能体监控器，而非仅凭分类性能。
| 评论： | 29 页，6 幅图，14 张表 |
| 主题： | 人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.36544 [cs.AI] |
| （或 arXiv:2610.36544v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36544 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siddharth Jain [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 02:59:21 UTC（179 KB）
来源：arXiv cs.AI · arxiv.org