arXiv cs.AI· Mingxuan Li, Huanzhi Mao, Ruitao Zheng, Jarod Stanbury James, Yunze Li, Natanya Anderson, Joseph E. Gonzalez, Alex Dimakis·· 10 小时前AI 评分48
SlackBench：在真实代码仓库协作项目上评测 AI 智能体的基准
SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories
AI 导读
SlackBench 是一个评测 AI 智能体在真实科研与工程协作工作流中表现的基准，基于真实学术项目的隐私保护重演环境，包含 140 条查询，覆盖异构来源检索、不可答问题弃答、目标导向摘要和长对话情境推断。在 33 个前沿模型与智能体框架上，最佳系统得分约 80%，多数智能体低于 66%。数据集已公开。
正文 · AI 翻译
摘要：AI 智能体正逐渐成为数字同事，能够浏览网页、编写代码、运行实验，并在较长的时间跨度内协助人类。然而，现有基准测试未能充分反映真实的知识工作：许多基准依赖合成数据或孤立任务，忽略了协作项目中复杂的多方动态——在这些项目中，关键信息分散于对话、代码和不断演变的决策之中。即便是简单的工作场所问题，也可能需要定位相关频道和私信、从冗长讨论中恢复上下文、检查仓库状态、调和过时或相互矛盾的证据，并跨来源进行综合。
我们提出 SlackBench，一个用于评估智能体在真实科研与工程工作流中的表现的基准，这些工作流要求对工作场所沟通和不断演变的仓库状态进行联合推理。SlackBench 基于对真实学术研究项目的隐私保护式重现，提供可复现的环境，包含真实的多方对话、不断演变的决策，以及基于 GitHub 仓库和 Google Docs 的相应代码变更。它包含 140 个查询，涵盖异构来源的智能体式搜索、对无法回答或前提错误问题的弃答、目标导向的摘要，以及长对话中的情境推断。这些任务无法简化为静态语料问答：智能体必须判断哪些对话重要、遍历讨论串、检查仓库状态，并综合沟通记录与代码工件中的证据。在 33 个前沿模型和智能体框架中，最佳系统得分约为 80%，大多数智能体得分低于 66%，凸显出巨大的提升空间。因此，SlackBench 为评估协作工作环境中的智能体提供了一个可扩展的框架。SlackBench 数据集可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05512 [cs.AI] |
| （或 arXiv:2611.05512v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05512 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mingxuan Li [查看邮箱]
[v1]
2026年11月3日星期二 19:10:50 UTC（8,048 KB）
来源：arXiv cs.AI · arxiv.org