arXiv cs.AI· Roko Parac, Christos Ziakas, Leo Ardon, Alessandra Russo·· 11 小时前AI 评分31
RM-VLM：从自然语言任务描述到视觉接地的奖励机
RM-VLM: From Natural-Language Task Descriptions to Vision-Grounded Reward Machines
AI 导读
RM-VLM 让 LLM 从自然语言任务描述生成奖励机（RM），并由 VLM 充当标签函数，在基于图像的观测上接地 RM 命题，从而免去手工设计命题接地 oracle。该方法还用基于 VLM 的价值函数估计器评估智能体向各 RM 转移的进展，生成稠密奖励信号。在非马尔可夫网格世界导航、机器人操作和 3D 物体收集三个域上，RM-VLM 的任务成功率均高于现有基于 VLM 的奖励方法。
正文 · AI 翻译
摘要：奖励机（RM）已被提出作为强化学习（RL）中的一种奖励形式，用于捕捉信用分配依赖于历史的非马尔可夫任务。通过将奖励函数表示为自动机，RM 揭示了任务的时间结构，并使此类奖励能够在马尔可夫框架内处理。然而，它们假设存在一个标记函数，即用于观测的命题接地预言机，这必须为每个环境手动设计，限制了其更广泛的适用性。在这项工作中，我们通过提出 RM-VLM 来解决这一限制，这是一种新颖的方法，其中大型语言模型（LLM）根据自然语言任务描述生成 RM，而视觉语言模型（VLM）充当标记函数，在 RM 引导的策略学习过程中将 RM 的命题接地到基于图像的观测上。基于 VLM 的价值函数估计器用于评估智能体向每个 RM 转移的进展，并推导出密集的奖励信号。我们在涵盖非马尔可夫网格世界导航、机器人操作和 3D 物体收集的三个领域上评估了 RM-VLM。我们的实验结果表明，在所有测试领域中，RM-VLM 始终比现有的基于 VLM 的奖励方法取得更高的任务成功率。
| 评论： | 含附录共 20 页 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.08308 [cs.AI] |
| （或 arXiv:2611.08308v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.08308 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Roko Parac [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 17:10:10 UTC（759 KB）
来源：arXiv cs.AI · arxiv.org