arXiv cs.CL· Yunqi Liu, Peiyu Wang, Bingli Wang, Leo Luo, Xuanwu Song, Xudong Ma, Hongxin Li, Yaxin Du, Weicheng Gu, Fanglin Xu, Yi Xing, XiangLong Liu, Jujie He, Zhange Zhang, Huatong Song, Zhaoyi Li, Deyang Kong, Chuan Hao, Peihao Wu, Mingjie Tang, Ran Tao, Jian Yang, Wayne Xin Zhao, Bryan Dai·· 11 小时前AI 评分38
RealCLI：面向 CLI 智能体人机协作的统一评测基准
RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
AI 导读
研究者提出 REALCLI，一个成对评测 CLI 智能体任务执行与人机协作质量的基准，包含五维框架、22 个子维度和 51 个交互场景模板。它提供 REALCLI-EXEC（一次性给出完整规格）与 REALCLI-COLLAB（脚本化用户逐步提供信息、纠正与授权）两种模式。
正文 · AI 翻译
作者：Yunqi Liu、Peiyu Wang、Bingli Wang、Leo Luo、Xuanwu Song、Xudong Ma、Hongxin Li、Yaxin Du、Weicheng Gu、Fanglin Xu、Yi Xing、XiangLong Liu、Jujie He、Zhange Zhang、Huatong Song、Zhaoyi Li、Deyang Kong、Chuan Hao、Peihao Wu、Mingjie Tang、Ran Tao、Jian Yang、Wayne Xin Zhao、Bryan Dai
摘要：命令行界面（CLI）智能体越来越多地执行更长周期的任务，但现有基准要么假设用户指令在整个执行过程中保持不变，要么只评估任务结果而未能捕捉运行时的协作质量。本文提出 REALCLI，这是一个配对基准，统一评估真实 CLI 任务上的任务执行与人类-智能体协作质量。为全面衡量协作，REALCLI 构建了一个五维框架，并具体化为 22 个子维度和 51 个交互场景模板。REALCLI 提供两种配对比较模式：REALCLI-EXEC 预先提供完整规格，而 REALCLI-COLLAB 引入一个脚本化用户，逐步提供信息、纠正、约束修订和授权决策。评估揭示了前沿智能体存在深刻的能力差距：最佳配置的平均得分仅为 49.2%，而在联合协作得分（$J_{\mathrm{collab}}$）评估下，峰值性能仅达到 37.6%。这些结果表明任务有效性与协作质量存在显著差异，模型在可引导性、信任校准和安全边界管理方面持续表现不佳。REALCLI 为衡量和推进协作式 CLI 智能体提供了严谨、可复现的基础。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22507 [cs.CL] |
| （或 arXiv:2610.22507v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22507 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jian Yang [查看电子邮件]
[v1]
2026年10月15日星期四 18:03:13 UTC（1,243 KB）
来源：arXiv cs.CL · arxiv.org