arXiv cs.AI· Ruiqi Liu, Jinming Li, Mo Wang, Yang Lu, Yanlan Kang·· 10 小时前AI 评分22
预算配对反事实审计:为视觉智能体评估选择观察对象
Choosing What to Observe: Budget-Paired Counterfactual Audits for Credible Evaluation of Visual Agents
AI 导读
研究者提出“预算配对反事实审计”评估协议,在固定公开证据与区域绑定的前提下,仅扰动剩余观察预算或声明的任务参数,并为每段已获取的观察历史赋予精确的延续价值。该方法将损失的期望准确率分解为逐步获取损失与终局决策损失,从而把规划能力与固定角色启发式区分开。在四十个配对路由锚点上进行了验证。
正文 · AI 翻译
摘要:阅读密集文档的视觉智能体必须在候选区域之间分配有限的观察预算,然而回答准确率混淆了智能体看向何处、它如何适应剩余的读取,以及它在观察停止后如何作答。我们引入了预算配对反事实审计,这是一种评估协议,它保持公开证据和区域绑定固定,仅扰动剩余预算或声明的任务参数,并为每个已获取的历史赋予精确的延续价值。由此得到的核算将损失的期望准确率分解为逐步获取损失和终端决策损失,从而将规划与固定角色启发式区分开来。在四十个配对路由锚点上,五个开放权重
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.24867 [cs.AI] |
| (或 arXiv:2611.24867v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24867 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ruiqi Liu [查看电子邮件]
[v1]
2026年11月18日星期三 18:20:12 UTC(1,575 KB)
来源:arXiv cs.AI · arxiv.org