arXiv cs.AI· Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Chengsong Huang, Zhichao Liu, Xiyang Wu, Anhao Li, Yue Yu, Ergan Shang, Fuxiao Liu, Tong Zheng, Ninghao Liu, Lichao Sun, Haitao Mi, Leowei Liang·· 3 天前AI 评分38
Long-Horizon-Terminal-Bench 2.0：自动化任务构建与衡量智能体持续进展
Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress
AI 导读
Long-Horizon-Terminal-Bench 2.0（LHTB 2.0）发布，保留原有 46 个任务并修正缺陷、扩展 31 个任务，共含 13 个领域、8 种任务类型的 77 个任务。
正文 · AI 翻译
作者：Zongxia Li、Zhongzhi Li、Yucheng Shi、Ruhan Wang、Junyao Yang、Chengsong Huang、Zhichao Liu、Xiyang Wu、Anhao Li、Yue Yu、Ergan Shang、Fuxiao Liu、Tong Zheng、Ninghao Liu、Lichao Sun、Haitao Mi、Leowei Liang
摘要：长时程终端基准测试衡量的是智能体能否在带有过程奖励的扩展工作流中持续取得进展，而不仅仅是其最终状态能否通过二元检查。我们提出 Long-Horizon-Terminal-Bench 2.0（LHTB 2.0），它是 Long-Horizon-Terminal-Bench 的扩展版本，保留了原有的 46 个任务，同时修正了任务和评估基础设施的缺陷，并扩展了 31 个任务。LHTB 2.0 包含 13 个领域、8 种任务类型的 77 个任务。扩展任务通过系统化的重建任务流水线生成。我们从一个可运行的科学或工程制品出发，然后使用参数化参考实现生成多个场景，公开其中六个作为行为证据，保留三个用于评估，并使用密集进展阶梯来奖励部分进展，同时防止对公开输出的记忆。我们还将评估时长从 90 分钟延长至三小时，并每 30 分钟记录一次验证器检查点，从而能够直接测量单次运行中的持续进展。在来自 15 个前沿模型的 1,145 次已评分模型-任务运行中，GPT-6-astra 以密集平均奖励 0.69 和 37 个任务达到 R 至少 0.95 领先，其次是 GPT-5.6-sol，密集平均奖励 0.67，32 个任务达到相同阈值。在 30 个重建任务上，二元验证器得分平均为 0.221，而密集阶梯得分平均为 0.653，表明仅基于结果的评估丢弃了大量中间进展。LHTB 2.0 为研究数小时内可靠的智能体执行提供了一个更广泛、更稳健且过程感知的测试平台。
| 评论： | 21 页，11 幅图，3 张表。包含附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14146 [cs.AI] |
| （或 arXiv:2610.14146v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14146 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zongxia Li [查看邮箱]
[v1]
2026 年 10 月 9 日星期五 15:22:53 UTC（698 KB）
来源：arXiv cs.AI · arxiv.org