arXiv cs.AI· Pranjal Aggarwal, Sean Welleck·· 12 小时前AI 评分55
Gym-Anything-RT：为视觉语言智能体构建实时交互环境
Gym-Anything-RT: Scaling Real-Time Environments for Vision-Language Agents
AI 导读
研究者提出 Gym-Anything-RT，用智能体流水线按实时交互所需的六类能力自动生成视觉小游戏，并支持同一游戏在实时、暂停或减速环境下对照运行。团队据此构建 100 个实时小游戏评测 AI 智能体，发现实时交互能力存在明显缺口，例如 GPT-6 Astra（xHigh）实时通过率仅 9.0%，环境暂停后升至 75.0%。
正文 · AI 翻译
摘要：AI 智能体在那些有相当充裕时间在行动之间进行思考的领域已取得实质性进展，例如数学、软件工程以及在桌面应用上执行任务。但在需要实时交互的场景中，例如玩电子游戏或操作物理设备，这类模型表现如何尚不明确。在这些场景中，环境状态可能在智能体推理时发生变化，甚至在底层模型执行前向传播时也会变化。为了深入了解视觉语言智能体的实时交互能力，我们推出了 Gym-Anything-RT。我们的核心思路是构建视觉小游戏，这些游戏要求具备交互式实时场景所需的一系列能力。Gym-Anything-RT 使用智能体流水线，基于实时交互所需的六类能力分类体系自动生成此类环境，其中包括感知环境并在不断变化的环境状态下行动的能力。Gym-Anything-RT 的一个关键特性是，它允许对实时交互能力进行受控比较：我们可以实时运行同一个小游戏，也可以暂停或放慢环境，以放宽对实时行动的要求。我们使用 Gym-Anything-RT 构建了 100 个实时小游戏，并在这些游戏上评估 AI 智能体。我们发现实时交互方面存在巨大的能力差距。例如，GPT-6 Astra（xHigh）在实时小游戏上的通过率仅为 9.0%，而当环境暂停时，通过率升至 75.0%。我们还观察到最强大的前沿智能体表现出一些有趣的行为：例如，当被赋予编写代码的能力时，这些智能体会编写代码来绕过实时感知和行动的需要。我们公开发布 Gym-Anything-RT 及生成的小游戏，以推动实时交互场景下 AI 智能体的进一步研究。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37567 [cs.LG] |
| （或 arXiv:2610.37567v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37567 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pranjal Aggarwal [查看邮箱]
[v1]
2026年10月27日星期二 17:13:05 UTC（1,973 KB）
来源：arXiv cs.AI · arxiv.org