arXiv cs.AI· Zhijie Wei, Ferris Tan, Jinghui Wang·· 6 天前AI 评分38
规模与选择：自动 harness 进化如何让视觉界面机器人智能体奏效
Scale and Selection: What Makes Automatic Harness Evolution Work for Visual-Interface Robot Agents
AI 导读
研究显示，用另一个编码智能体（优化器智能体）可自动改进视觉界面机器人智能体的 harness（提示词、工具与控制规则）。每轮 rollout 数量决定泛化性：训练批次从 5 增至 100 时留出任务成功率上升，小批次则过拟合；采用 Champion-Challenger 规则筛选修订，30 轮内将 LIBERO 任务留出成功率从 51% 提升至 67%。
正文 · AI 翻译
摘要：当直接使用现成的编码智能体作为机器人策略，通过截图观察基于浏览器的 3D 界面，并通过少量工具摆出虚拟目标夹爪来行动时，智能体的运行框架、其提示、工具和控制规则在很大程度上决定了成功与否，而迄今为止这一框架都是手工编写的。我们表明，这一框架可以由另一个编码智能体——优化器智能体——自动改进，并报告了关于其有效原因的两项发现。第一，优化器智能体每轮看到的 rollout 数量决定了进化出的框架能否泛化：在轮数固定的情况下，随着训练批次从 5 个 rollout 增长到 100 个，留出成功率随之上升，而小批次则会对训练任务过拟合。第二，不能给优化器智能体完全的自由。接受它提出的每一次修订会在几轮内使框架退化；一个简单的 Champion-Challenger 规则——仅当修订在相同的固定用例上击败现任者时才将其提升——将同一循环转变为在 30 轮内将 LIBERO 任务上的留出成功率从 51% 提升到 67% 的循环。通过一个将控制权交给预训练策略的工具，将进化出的框架与预训练策略结合，在 RoboCasa365 排行榜基准上达到 71.2%，比最佳已发表条目高出 13.1 个百分点。因此，面向视觉界面机器人智能体的自动框架进化是可行的，但其收益取决于每个决策背后的 rollout 规模以及优化器智能体修订的选取方式。
| 评论： | 13 页，4 幅图 |
| 主题： | 机器人学 (cs.RO)；人工智能 (cs.AI) |
| 引用为： | arXiv:2609.39304 [cs.RO] |
| （或 arXiv:2609.39304v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.39304 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhijie Wei [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 08:46:38 UTC（726 KB）
[v2]
2026 年 10 月 9 日星期五 10:29:04 UTC（727 KB）
来源：arXiv cs.AI · arxiv.org