arXiv cs.AI· Jiahong Dai, Zhuochen Yang, Pengyang Shao, Kelvin Ng, Zhongyi Liu, Chengquan Ju, Yuting He, Bo Hu·· 10 小时前AI 评分42
Hearsay:谁能审计已部署 Agent Harness 写下的运行记录?
Hearsay: Who Can Audit the Record a Deployed Agent Harness Writes?
AI 导读
研究者提出 Hearsay 基准,检验审计者能否核查 Agent 运行记录:在全部 16 个框架中,harness 都是唯一记录写入者,此时读者最多能在十次运行中的九次从记录指出故障,却无法验证记录本身。
正文 · AI 翻译
摘要:智能体运行的记录由驱动该智能体的执行框架写入。当这次运行事后受到质疑时,审计者并不在场,只有这份记录。我们追问:不在场的人能否核查这份记录,以及什么决定了答案。这取决于核查所依赖的内容由谁写入:如果全部由执行框架写入,记录就只是执行框架的一面之词,我们称之为传闻。我们构建了 Hearsay,一个考察记录而非任务的基准:五个执行框架运行十四项任务,来自三家厂商的模型审查员和一个人类评审组阅读记录并回答关于运行的问题,他们引用的每一段文字都按作者被机械地标注。我们还审计了实际部署的系统:在全部十六个框架中,执行框架是唯一的写入者。只有一个写入者时,读者能从记录中指出故障,最多可达十次运行中的九次,但他们无法核查记录。模型审查员声称其证据得到佐证的比例,比标签所支持的高出 18 到 55 个百分点;这一差距我们随后在由另一家厂商模型驱动的运行上做出了预测,并再次发现。而其中表现最好者只注意到我们对记录所做改动的一半,而最常指出故障的两个则无法分辨执行框架遗漏了什么。有了第二个写入者,记录就可以被核查。我们的沙箱保存一份执行框架与模型之间往来的账本,将账本与记录双向对照,就能看出记录遗漏了什么、添加了什么。我们按照审计者的使用方式测试它,一次处理一份未见过的记录。在由第三家厂商模型驱动的运行上,且所有规则都在记录存在之前就已确定,它报告了 66 处改动中的 64 处,并且没有标记 84 份干净记录中的任何一份。在五种格式的留出记录上,它报告了 115 处中的 109 处。使记录成为证据的是第二个写入者,而不是更好的读者。
| 评论: | 50 页(正文 10 页),8 幅图。审稿中。v2:围绕一个问题重新组织;第二个写入者现在按一次一份未见过的记录进行评估,在留出记录上、并在记录存在之前就已确定的规则下进行;标题已更改。代码与数据:此 https URL |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI);计算工程、金融与科学(cs.CE);软件工程(cs.SE) |
| 引用为: | arXiv:2609.32495 [cs.CR] |
| (或本版本的 arXiv:2609.32495v2 [cs.CR]) | |
| https://doi.org/10.48550/arXiv.2609.32495 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自:Jiahong Dai [查看邮箱]
[v1]
2026 年 9 月 26 日星期六 11:37:06 UTC(264 KB)
[v2]
2026 年 11 月 18 日星期三 12:50:47 UTC(318 KB)
来源:arXiv cs.AI · arxiv.org