arXiv cs.AI· Sergey Rodionov·· 2 天前AI 评分36
提升环境无关编码智能体：脚手架的作用
Improving Environment-Agnostic Coding Agents: The Role of Scaffolding
AI 导读
研究在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上评测基于 Codex 的环境无关智能体，仅修改一条鼓励报告困难并交回控制权的指令，即提升 ARC-AGI-3 与 AGI Maze 的平均得分，Terminal-Bench 变化微小且不一。
正文 · AI 翻译
摘要：更强大的语言模型可能越来越多地为自身构建有用的流程，从而削弱开发者提供的脚手架的优势。我们研究这一优势为何持续存在，以及能否在不进行环境特定工程的情况下改进一个环境无关的智能体。我们在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上，用两个几乎相同的提示变体评估一个基于 Codex 的智能体。每个变体在各环境中部署时都使用不变的代码、提示和通用工具，仅将环境特定信息作为输入接收。仅更改一条指令以鼓励报告困难并交回控制权以便自动继续，就提高了 ARC-AGI-3 和 AGI Maze 上的平均得分，而 Terminal-Bench 则显示出小幅、混合的变化。然而，该通用智能体仍低于 ARC-AGI-3 专用的参考实现，即使使用 GPT-5.6-sol 也是如此。该参考实现规定的是组织与控制方式，而非提供新的游戏规则或解法。为研究这一差距，我们将重置决策转移给一个脚本化控制器，该控制器遵循已提供给智能体的约定。这一小改动恢复了专用智能体的一部分优势。一项互补的 AGI Maze 实验表明，额外的教程经验可能降低性能。总之，这些发现凸显了拥有可用信息和工具与有效使用它们之间的区别。对于此处测试的模型，所提供的流程仍然重要。性能提升也伴随着更高的基于 token 的成本。这些实验未能将更好地利用信息和流程与额外或不同分配的推理区分开来。我们提供 EnvTraverse 框架和一个经过评估的基线智能体，用于测试进一步的环境无关改动能否在某些环境中提升性能，同时不降低其他环境中的性能。
| 评论： | 37 页，5 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22289 [cs.AI] |
| （或 arXiv:2610.22289v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22289 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sergey Rodionov [查看电子邮件]
[v1]
2026年10月15日星期四 17:43:16 UTC（2,609 KB）
来源：arXiv cs.AI · arxiv.org