arXiv cs.AI· Yuxuan Liu, Zhaochen Su, Hangyu Guo, Shijue Huang, Zhixiong Zhang, Kawai Chung, Zhongwei Xie, Tianshi Zheng, Wei Fan, Qing Zong, Haochen Shi, Baixuan Xu, Haoran Li, Yangqiu Song·· 3 天前AI 评分39
SkillHorizon：通过技能组合构建长时程智能体任务
SkillHorizon: Constructing Long-Horizon Agent Tasks through Skill Composition
AI 导读
研究者提出 SkillHorizon 基准，通过技能组合在七种商业环境中构建长时程任务，任务依赖输入输出、共享资源与状态更新，参考交互负载从 64K 到 1M tokens。在 1,050 个任务上评测五个语言模型，平均局部目标完成率从 90.4% 降至 46.8%，负载越大智能体越常在工作未完成时提交失败答案。代码已开源。
正文 · AI 翻译
作者：Yuxuan Liu、Zhaochen Su、Hangyu Guo、Shijue Huang、Zhixiong Zhang、Kawai Chung、Zhongwei Xie、Tianshi Zheng、Wei Fan、Qing Zong、Haochen Shi、Baixuan Xu、Haoran Li、Yangqiu Song
摘要：长时程智能体必须完成这样的工作流：后续活动依赖于先前的输出以及对共享状态的更改。评估的一个关键挑战在于，在保持任务可执行、结果可验证的同时，扩展任务需求及其依赖关系。我们提出 SkillHorizon，一个通过在七个业务环境中进行技能组合来构建长时程任务的基准。其生成器使用领域特定规则，将可复用的技能流程转化为具体的业务活动。这些活动通过输入-输出依赖、共享资源和状态更新相互连接，使工作负载与协调需求同步增长。成功的参考执行验证了任务可行性并测量交互工作负载，而程序化评估器则评估局部完成情况和整体任务成功。我们在 1,050 个任务上评估了五个语言模型，参考交互工作负载从 64K 到 1M token 不等。在这些规模下，平均局部目标完成率从 90.4% 降至 46.8%，因为已完成的工作无法跟上不断增长的需求。在工作负载更大时，智能体更常提交不成功的最终答案，同时有大量工作未完成且工具调用额度仍有剩余。轨迹分析还发现了脚本成功执行但其输出未能通过下游业务检查的情况。SkillHorizon 提供了一个可配置的测试平台，用于研究不断增长的工作流中的持续进展、依赖协调和完整任务交付。我们的代码可在 此 https URL 获取。
| Comments: | 29 页，7 张图 |
| Subjects: | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14966 [cs.AI] |
| （或 arXiv:2610.14966v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14966 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuxuan Liu [查看邮箱]
[v1]
2026 年 10 月 10 日星期六 14:36:39 UTC（474 KB）
来源：arXiv cs.AI · arxiv.org