跳到正文
arXiv cs.AI· Yining Hua, Levi Lian·· 10 小时前AI 评分44

WorkWorlds:在任务之前就建好的公司环境中评估 AI 智能体

WorkWorlds: Evaluating Agents in a Company Built Before the Task

AI 导读

研究者提出 WorkWorlds 基础设施,用真实公司历史数据重建制药公司 PharmaCo,对比"任务专属环境"与"员工真实可见材料"两种构建方式。在 192 次受控评估中,证据获取率从 90.4% 降至 72.8%,标准通过率从 76.7% 降至 68.0%;但找到所需证据时两种条件通过率几乎相同。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:许多知识工作基准测试围绕单一任务构建,每个任务的上下文和文件是在任务定义时或之后同时选定的。研究认为这种构建方式不能反映真实职场工作,但其影响从未在受控条件下被测量。为了在受控条件下比较这两种构建方式,我们引入了 WorkWorlds,这是一个将公司组件模块化为修订版本、日期和员工席位以便分别调整的基础设施。利用一家真实公司捐赠的历史数据,我们重建了一家制药公司 PharmaCo。两位各自拥有十余年行业经验的专家根据公司发生的真实事件各编写了八项任务,并各自为每项任务独立构建了任务特定环境。在 192 次受控评估中,当智能体从任务特定环境切换到员工真正可见的全部材料时,证据获取率从 90.4% 降至 72.8%,标准通过率从 76.7% 降至 68.0%。然而,在智能体找到所需证据的情况下,两种条件下的通过率几乎相同。此外,在同一任务下切换两位专家构建的环境,平均通过率差异为 6.6 个百分点。三个智能体的得分提升幅度也各不相同,这改变了它们之间的差距。我们认为基准测试应报告环境材料是如何选取的,并在可能的情况下测试更换环境构建者后智能体得分的变化。
评论: 16 页,3 幅图
主题: 人工智能(cs.AI)
引用为: arXiv:2609.23806 [cs.AI]
  (或 arXiv:2609.23806v3 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2609.23806

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Yining Hua [查看邮箱]
[v1] 2026 年 9 月 20 日周日 18:50:13 UTC(2,878 KB)
[v2] 2026 年 9 月 23 日周三 00:16:50 UTC(2,882 KB)
[v3] 2026 年 11 月 18 日周三 16:42:45 UTC(1,397 KB)

来源:arXiv cs.AI · arxiv.org