论文提出知识工作基准四字段表示法

Yining Hua 等作者在一篇 arXiv 论文中提出，知识工作 AI 智能体基准应以“所执行的工作”为中心来表示，并列出四项常被忽略的设计选择：所代表的活动、测试场景、所需工作产物与评估结果。 作者用无监督学习结合人工审核，将 O*NET 任务语句聚类为 18 类共享工作活动，并据此分析 GDPval、OfficeQA Pro 和 APEX-SWE 三个基准，发现三者评估结果覆盖的范围均窄于所需工作产物。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。