arXiv cs.AI· Yining Hua, Hongbin Na, Cyrus Ayubcha, Levi Lian·· 10 小时前AI 评分32
如何为知识工作设计 AI 智能体基准测试
Designing Benchmarks for Knowledge Work
AI 导读
该论文从知识工作定义出发，提出以"所执行的工作"为中心的基准表示方法，并给出四项常被忽略的设计选择：所代表的活动、测试场景、所需工作产物与评估结果。作者用无监督学习结合人工审核将 O*NET 任务语句聚类为 18 类共享工作活动，并据此分析 GDPval、OfficeQA Pro 和 APEX-SWE 三个基准，发现三者评估结果覆盖的范围均窄于所需工作产物。
正文 · AI 翻译
摘要：Agent 基准测试已引起广泛关注；然而，针对执行知识工作的 AI agent 的基准测试，大多仍仅通过其任务、环境和指标来描述。本文从知识工作的定义出发，推导出另外四项往往隐含的设计选择。关于知识工作如何组织的三条研究脉络各自贡献了一项选择：职业研究、情境行动研究，以及边界对象与协调研究，而效度理论提供了第四项。遵循这一推理，我们提出了一种以所执行工作为中心的基准测试表示方法。基于这一表示，我们提出了针对四个基本缺失领域的报告实践：所表示的活动、所测试的情境、所需的工作产物，以及所评估的结果。以不同方式设计的基准测试由此共享一套通用描述，并可以并排比较。为支持工作活动的报告，我们通过无监督学习结合人工审核，将 O*NET 任务陈述聚类为 18 项共享工作活动。随后，我们使用这一表示来分析三个流行的知识工作基准测试中的案例：GDPval、OfficeQA Pro 和 APEX-SWE。在这三个基准测试中，所评估结果覆盖的范围都窄于所需工作产物的范围。我们审计了全部 25 个公开 APEX-SWE Integration 任务的测试，并由两位作者独立编码。我们从测试代码中发现，在其中 13 个任务中，交付物可以更改源数据中的既定内容，却仍能通过所有测试。我们将这四个领域综合为一页式记录，并附上一个示例和一份可填写模板。
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2605.23262 [cs.AI] |
| （或 arXiv:2605.23262v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.23262 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Yining Hua [查看电子邮件]
[v1]
2026年5月22日星期五 06:03:01 UTC（1,209 KB）
[v2]
2026年8月24日星期一 13:42:48 UTC（2,081 KB）
[v3]
2026年11月3日星期二 23:25:29 UTC（991 KB）
来源：arXiv cs.AI · arxiv.org