arXiv cs.AI· Eleftherios Triantafyllidis, Filippos Christianos, Zhibin Li, Bernd Bickel·· 23 小时前AI 评分31
WATERFALL:面向 POMDP 环境的自适应训练工作流,用进化式奖励生成与自动学习循环发现奖励
WATERFALL: Workflow for Adaptive Training with Evolutionary Reward Formulation and Automated Learning Loops
AI 导读
WATERFALL 是一套基于种群迭代的工作流,可在 POMDP 严格可观测性约束下自动发现奖励程序,无需目标条件、任务描述或专家示范。它通过 persona 条件生成多样化的程序化奖励候选,用视觉语言模型裁判的瑞士制进化锦标赛从原始视觉 rollout 中筛选精英,并依据纵向评估历史迭代变异、升级或剪枝候选。
正文 · AI 翻译
摘要:奖励设计仍然是强化学习(RL)中的核心瓶颈,尤其是在稀疏奖励、长时程和部分可观测的设置中,这些设置需要依赖链、记忆以及对欺骗性可供性的消歧。尽管近期的基础模型方法减少了人工奖励工程,但大多数方法都假设了目标条件、任务描述、专家演示或真实指标。这些假设在部分可观测环境中是有问题的,因为在这些环境中,与任务相关的目标、可供性和动态必须通过交互来发现,而不是事先披露。我们通过引入 WATERFALL 来形式化这一问题设置,这是一种基于种群的迭代工作流,用于在 POMDP 环境固有的严格可观测性约束下进行自动奖励发现。WATERFALL 通过以下方式实现这一点:(i) 通过角色条件生成来合成多样化的程序化奖励候选;(ii) 利用由视觉语言模型评判的瑞士制进化锦标赛,从原始视觉 rollout 中评估候选行为以识别精英;(iii) 利用纵向评估历史来迭代地变异、升级或修剪候选。我们在从离散到连续的全可观测和揭示门控部分可观测环境中评估 WATERFALL,并与稀疏奖励 RL、内在动机和基础模型奖励合成基线进行比较。我们的结果表明,WATERFALL 在无法访问特权信息的情况下发现并改进奖励程序,优于保留其原生信息优势的基线,在 POMDP 情形中最为明显。大量消融实验证实,视觉证据、基于锦标赛的选择和迭代改进共同重要。执行这一契约正是自主奖励发现与基准特权奖励塑造的区别所在。
| 评论: | 已被 NeurIPS 2026 接收(海报)。78 页,13 张图,19 张表。代码:此 https URL OpenReview:此 https URL |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22854 [cs.LG] |
| (或 arXiv:2611.22854v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22854 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Eleftherios Triantafyllidis [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 14:35:27 UTC(19,706 KB)
来源:arXiv cs.AI · arxiv.org