跳到正文
arXiv cs.AI· Hanfeng Liu, Zhenyu Luo, Dongchao Zhang, Zexi Liu, Zulong Chen, Jinxin Hu, Jia Xu, Zeyi Wen·· 4 小时前AI 评分35

OfficePrism:评测 AI 智能体在企业各业务职能单域任务上的表现

OfficePrism: Benchmarking Agents on Single-Domain Operations Across Enterprise Business Functions

AI 导读

OfficePrism 基准用 420 个单域企业任务评测 AI 智能体,覆盖七个业务职能并设 L1–L3 任务结构层级。在 124 组模型—harness—工具包配置中,自然语言与数据库联合通过率为 22.6%–76.4%,中位数 67.9%;全部配置 L1 得分最高,122 组中 L2 高于 L3。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:宽泛的职场评分可能将单一业务职能内的能力与跨职能、跨系统协调的额外成本混在一起,导致故障难以定位。OfficePrism 通过 420 个单领域企业任务来评估这一前提,这些任务涵盖七个业务职能,并处于共享的、由基准定义的 L1--L3 任务结构层级下。每个任务都在一个全新环境中运行,该环境将共享的合成组织与一个职能特定的领域以及类型化状态访问相结合。我们的流水线使用有据可查的记录、业务规则和工具模式,联合构建一个中文工单、一个隐藏的可执行参考见证和一个预期响应,随后进行自动过滤和人工整理。同一任务集通过全模式包和搜索与调度包进行评估。在 124 个模型--测试框架--包配置中,逐案例的联合自然语言与数据库通过率范围为 22.6% 至 76.4%,中位数为 67.9%。L1 在所有 124 个配置中最高,且 L2 在 122 个配置中超过 L3。在跨两个包共享相同测试框架和模型标签的 50 个配置中,搜索在 30 个中得分更高,在 1 个中持平,在 19 个中得分更低。
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG);软件工程(cs.SE)
引用为: arXiv:2611.22262 [cs.CL]
  (或 arXiv:2611.22262v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22262

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Zhenyu Luo [查看电子邮件]
[v1] 2026年11月17日星期二 06:10:32 UTC(3,643 KB)

来源:arXiv cs.AI · arxiv.org