arXiv cs.AI· Guangzhi Wang, Junfu Pu, Yiran Wang, Xingyilang Yin, Honghao Chen, Cheng Cheng, Lingen Li, Yinan Zhou, Jiarui Wu, Yinuo Jiang, Hongbo Jin, Xiaodong Cun, Ying Shan·· 13 小时前AI 评分31
TaskFrame：连接任务级规划与帧级控制的游戏智能体框架
TaskFrame: Connecting Task-Level Planning with Frame-Level Control for Game Agents
AI 导读
TaskFrame 是一个分层规划器-控制器框架，将任务级规划与帧级键鼠控制连接起来。视觉语言任务规划器把高层目标分解为原子指令序列，经监督学习和依赖感知 GRPO 优化，其目标 token 隐藏状态作为可缓存的连续目标嵌入供控制步骤复用；因果 Transformer 控制器结合目标嵌入与近期观测，逐步预测离散键鼠动作和连续镜头移动。
正文 · AI 翻译
作者：Guangzhi Wang、Junfu Pu、Yiran Wang、Xingyilang Yin、Honghao Chen、Cheng Cheng、Lingen Li、Yinan Zhou、Jiarui Wu、Yinuo Jiang、Hongbo Jin、Xiaodong Cun、Ying Shan
摘要：构建通用游戏智能体既需要高层任务推理，也需要在快速变化的视觉环境中进行低延迟动作控制。这些能力更适合计算特征差异显著的模型，因此难以在单一模型中实现。在本工作中，我们提出 TaskFrame，一个分层规划器-控制器框架，将任务级规划与帧级键盘和鼠标控制连接起来。一个视觉语言任务规划器将高层目标分解为有序的原子指令序列，并通过监督学习和依赖感知 GRPO 进行优化。终止每条原子指令的特殊目标 token 的隐藏状态提供连续的目标嵌入，这些嵌入被缓存并在控制步骤中重复使用。一个因果 Transformer 控制器将当前目标的嵌入与近期观测相结合，在每个游戏步骤预测离散的键盘和鼠标按键动作以及连续的相机运动。我们分三个阶段训练系统：规划器训练、控制器预训练和联合对齐。在 Minecraft 中的实验表明，TaskFrame 在指令分解方面与通用视觉语言模型具有竞争力，并且在闭环评估中，该智能体取得了比所评估基线更高的战斗成功率。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40276 [cs.CV] |
| （或此版本的 arXiv:2610.40276v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.40276 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guangzhi Wang [查看电子邮件]
[v1]
2026年10月29日 星期四 15:31:37 UTC（1,826 KB）
来源：arXiv cs.AI · arxiv.org