arXiv cs.AI· Shirley Anugrah Hayati, Patricia Anugrah Setiani, Ruizi Wang, Zhouyi Li, Khanh Chi Le, Young-Jun Lee, Dongyeop Kang·· 2 天前AI 评分32
Kolab：面向长周期工作流的人机协作基准测试
Kolab: Benchmarking Human-Agent Collaboration in Long-Horizon Workflows
AI 导读
研究者推出 Kolab，一个包含 50 位来自 40 种职业的专业人士、115+ 小时屏幕录制的人机协作数据集，用于评测长周期真实工作流中的协作表现。该基准要求智能体预测专家会采纳、修改还是拒绝其贡献，并判断协作满意度与产出质量。结果显示，前沿模型（无论是否具备智能体能力）都会高估与专家的协作效果，且难以区分高质量与低质量协作，更长的上下文并未稳定改善预测。
正文 · AI 翻译
摘要：当人类与 AI 智能体在长周期任务上协作时，智能体的贡献会如何？对于解决长周期任务，人类更看重与 AI 智能体的持续交互（例如修改计划），而非智能体一次性完成任务的能力。然而，大多数智能体基准测试更侧重于自动化。在这类基准测试上的出色表现并不意味着现实世界中有效的协作。专业工作流程提供了一个有用的场景，因为它们通常涉及相互依赖的步骤。为弥补这一空白，我们推出了 Kolab，这是一个新数据集，包含 50 位来自 40 种职业的专业人士与智能体就现实长周期问题协作的 115 小时以上屏幕录制。Kolab 还包含参与者的协作与输出质量评判。我们的分析揭示了多样的协作模式，凸显了专业人士与智能体协调的时机与方式的重要性。一个协作型智能体必须做两件自动化基准测试从未检验的事：预判专家在其贡献离开聊天窗口后会采纳、修改还是拒绝它，以指导其下一步行动；以及在没有专家持续反馈的情况下，从不断展开的工作流程中评估协作质量。我们的基准测试将两者付诸实践：（1）预测专业人士在不同工作流程中如何使用智能体的贡献；（2）验证他们对协作满意度和输出质量的评判。研究结果表明，前沿模型，无论是智能体式还是非智能体式，都会高估与专家的协作，并且难以区分高质量与低质量协作。更长的工作流程上下文并不能持续改善这些预测。由于前沿智能体尚无法理解与专家的长周期协作，我们将 Kolab 定位为一个有价值的数据集，用于研究以真实专业工作流程为基础的人机协作。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；人机交互（cs.HC）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21109 [cs.AI] |
| （或 arXiv:2610.21109v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21109 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shirley Anugrah Hayati [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 02:13:36 UTC（7,970 KB）
来源：arXiv cs.AI · arxiv.org