跳到正文
热点事件持续更新

Hearsay基准:审计Agent运行记录的可核查性

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究者Jiahong Dai等人发布Hearsay基准,用于检验审计者能否核查已部署Agent Harness写下的运行记录。该基准让五个harness运行十四项任务,由来自三家厂商的模型审计者和一个人类评审组阅读记录并回答关于运行的问题,他们引用的每段文字都按作者机械标注。 结果显示,在全部16个框架中,harness都是唯一的记录写入者;此时读者最多能在十次运行中的九次从记录中指出故障,却无法验证记录本身。研究者同时提出“第二写入者”审计方法。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    Hearsay:谁能审计已部署 Agent Harness 写下的运行记录?

    研究者提出 Hearsay 基准,检验审计者能否核查 Agent 运行记录:在全部 16 个框架中,harness 都是唯一记录写入者,此时读者最多能在十次运行中的九次从记录指出故障,却无法验证记录本身。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。