arXiv cs.AI· Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Zhichao Liu, Xiyang Wu, Anhao Li, Chengsong Huang, Ergan Shang, Yue Yu, Ninghao Liu, Lichao Sun, Haotao Mi, Leowei Liang·· 3 天前AI 评分36
Long-Horizon-Terminal-Bench：用密集奖励评分测试智能体在长时程终端任务上的极限
Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
AI 导读
研究者推出 Long-Horizon-Terminal-Bench，一个包含 46 个长时程任务的终端基准，覆盖实验复现、软件工程、多模态分析、交互式游戏和科学计算等九大类别，每个任务被拆解为细粒度评分子任务以提供密集中间奖励和部分得分。
正文 · AI 翻译
作者：Zongxia Li、Zhongzhi Li、Yucheng Shi、Ruhan Wang、Junyao Yang、Zhichao Liu、Xiyang Wu、Anhao Li、Chengsong Huang、Ergan Shang、Yue Yu、Ninghao Liu、Lichao Sun、Haotao Mi、Leowei Liang
摘要：AI 智能体已能够自主完成简短、定义明确的任务。然而，现有的终端基准测试大多聚焦于几分钟内即可完成的简单问题，且仅以最终结果进行评估。这种设置忽略了中间进展和部分解决方案，导致奖励信号稀疏，对智能体能力的刻画也不完整。我们提出了 Long-Horizon-Terminal-Bench，这是一个包含 46 个长时程任务的终端基准测试，涵盖九个类别，包括实验复现、软件工程、多模态分析、交互式游戏和科学计算。每个任务都遵循 Terminal-Bench 风格的设置，配有参考解决方案或仿真引擎，但进一步被分解为细粒度的分级子任务。这种设计能够提供密集的中间奖励和部分得分，使评估不仅能捕捉智能体是否达到最终目标，还能捕捉其在开放式工作流中推进到何种程度。Long-Horizon-Terminal-Bench 中的任务通常需要数百个回合以及数分钟到数小时的执行时间，强调长时程规划、长上下文管理和迭代调试，而非一次性问题求解。我们评估了 15 个前沿模型，发现智能体平均每个任务消耗 9.9M token，每次运行约 231 个回合、85.3 分钟执行时间，这使得 Long-Horizon-Terminal-Bench 比以往的终端基准测试要求更高。即使在测试中最强的模型，在 0.95 的部分奖励阈值下也仅达到 15.2% 的 pass@1，在 1.0 的完美奖励阈值下为 10.9%，而各模型在两个阈值下的平均通过率分别为 4.3% 和 1.7%。这些结果揭示了改进空间。我们进一步分析了失败模式和错误模式，并发布 Long-Horizon-Terminal-Bench，以支持长时程终端智能体的未来进展。
| 评论： | 17 页 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.08964 [cs.AI] |
| （或 arXiv:2607.08964v3 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2607.08964 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Zongxia Li [查看邮箱]
[v1]
2026 年 7 月 9 日星期四 21:56:37 UTC（5,056 KB）
[v2]
2026 年 7 月 13 日星期一 06:00:47 UTC（5,041 KB）
[v3]
2026 年 10 月 9 日星期五 17:16:07 UTC（5,041 KB）
来源：arXiv cs.AI · arxiv.org