arXiv cs.AI· Yi Wang, Haopeng Zhang, Chengxiang Huang, Rui Dai, Kaikui Liu, Piotr Koniusz, Xiangxiang Chu·· 3 天前AI 评分35
LoopArena：把模型作为循环工程的运行时控制器进行基准测试
LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering
AI 导读
研究者推出 LoopArena，用于评测一个模型作为 Controller 指导独立固定 coding agent（Worker）完成长时任务的能力，分三类设置：Type I 含 160 道低成本控制选择题、Type II 为 80 个任务切片、Type III 为对应的 80 个完整任务。
正文 · AI 翻译
摘要：循环工程（Loop Engineering）正逐渐成为一种围绕编码智能体组织开发工作的实践。从业者不再逐条手写提示词，而是设计循环来监控进度、分配工作、运行检查，并决定智能体下一步该做什么。即便拥有一个能力出众的编码智能体，循环也可能轻信过时的进度记录、跳过必要的验证、将预算花在错误的方向上，或在任务尚未达到可提交的安全状态时就停止。然而，单次端到端运行的结果无法说明成功或失败究竟反映的是循环的引导，还是编码智能体执行任务的能力。我们提出 LoopArena，一个用于评估一个模型能在多大程度上引导另一个编码智能体完成长时任务的基准。被评估的模型是 Controller：在每一轮编码之后，它接收该次运行的结构化摘要，并指示一个独立的、固定的编码智能体 Worker 下一步该做什么或验证什么，或决定是否停止。LoopArena 在三种执行范围和成本各不相同的互补设置下评估这一能力。Type I 由 160 个低成本控制问题组成；其执行成本在基准构建期间一次性产生，因此每个新的 Controller 只需通过一次四选一选择进行评估，无需执行代码。Type II 在 80 个选定的任务切片上评估 Controller 的引导，而 Type III 则从原始状态评估对应的 80 个完整任务。在完整任务上，观察到的最佳 Strict Success Rate 为 36.25%，说明长时程循环控制仍有很大的改进空间。在各 Controller 之间，估计推理成本的配对降幅平均为 60.6%，且 Type II 在主要 Core 标准下产生正相关的排序（Spearman's rho = 0.7353）。我们在 this https URL 发布基准数据和评估代码。
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2608.28281 [cs.AI] |
| （或此版本的 arXiv:2608.28281v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.28281 由 DataCite 提供的 arXiv 颁发 DOI |
Submission history
来自：Chengxiang Huang [查看邮箱]
[v1]
2026年8月28日星期五 12:44:54 UTC（626 KB）
[v2]
2026年10月13日星期二 06:57:13 UTC（612 KB）
来源：arXiv cs.AI · arxiv.org