跳到正文
热点事件持续更新

WorkWorlds:两种公司环境构建方式的Agent评测

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究者 Yining Hua、Levi Lian 提出 WorkWorlds 评测基础设施,用真实公司历史数据重建制药公司 PharmaCo,在 192 次受控评估中对比“任务专属环境”与“员工真实可见材料”两种环境构建方式。结果显示,按员工真实可见材料构建环境后,智能体的证据获取率从 90.4% 降至 72.8%,标准通过率从 76.7% 降至 68.0%。 但两种条件下,智能体一旦找到所需证据,通过率几乎相同,差距主要来自能否找到证据。WorkWorlds 将公司组件拆分为修订版本、日期和员工席位,可分别调整,以便在任务开始前固定环境、做受控对比。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    WorkWorlds:在任务之前就建好的公司环境中评估 AI 智能体

    研究者提出 WorkWorlds 基础设施,用真实公司历史数据重建制药公司 PharmaCo,对比"任务专属环境"与"员工真实可见材料"两种构建方式。在 192 次受控评估中,证据获取率从 90.4% 降至 72.8%,标准通过率从 76.7% 降至 68.0%;但找到所需证据时两种条件通过率几乎相同。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。