arXiv cs.AI· Zhaoyang Chu, Jiarui Hu, Xingyu Jiang, Pengyu Zou, Han Li, Chao Peng, Peter O'Hearn, Earl T. Barr, Mark Harman, Federica Sarro, He Ye·· 11 小时前AI 评分47
TerminalWorld：在真实终端任务上评测 AI 智能体的基准
TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks
AI 导读
TerminalWorld 是一个可扩展的数据引擎，能从真实终端录屏中自动逆向生成高保真评测任务，处理 80,870 条录屏后产出 1,530 个经校验任务，覆盖 18 个真实类别、1,280 个唯一命令，并从中人工审核出 200 个任务的 Verified 子集。
正文 · AI 翻译
作者：Zhaoyang Chu、Jiarui Hu、Xingyu Jiang、Pengyu Zou、Han Li、Chao Peng、Peter O'Hearn、Earl T. Barr、Mark Harman、Federica Sarro、He Ye
摘要：我们推出 TerminalWorld，这是一个可扩展的数据引擎，能够从“真实场景”的终端录制中自动逆向工程出高保真评估任务。该引擎处理了 80,870 条终端录制，生成了包含 1,530 个经验证任务的完整基准，涵盖 18 个真实世界类别，从简短的日常操作到超过 50 步的工作流，并覆盖 1,280 个唯一命令。在此基础上，我们整理出一个 Verified 子集，包含 200 个多样化且经人工审核的任务。在 TerminalWorld-Verified 上对八个前沿模型和六个智能体进行的全面基准测试表明，当前系统在真实终端工作流上仍存在困难，最高通过率仅为 62.5%。此外，TerminalWorld 捕捉到了与现有专家整理基准（例如 Terminal-Bench）不同的真实终端能力，与其分数的相关性较弱（Pearson r=0.20）。该自动化引擎使 TerminalWorld 在构造上兼具真实性与可扩展性，从而能够随着开发者实践的演进来在真实终端环境中评估智能体。
| Comments: | 已被 NeurIPS 2026 Evaluations and Datasets Track 接收。项目网站：this https URL |
| Subjects: | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.22535 [cs.AI] |
| （或 arXiv:2605.22535v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.22535 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Zhaoyang Chu [查看邮箱]
[v1]
2026年5月21日星期四 14:24:43 UTC（715 KB）
[v2]
2026年11月4日星期三 23:26:30 UTC（721 KB）
来源：arXiv cs.AI · arxiv.org