arXiv cs.AI· Jorge de Freitas, Christos Ziakas, Alessandra Russo·· 13 小时前AI 评分29
世界模型中的 Critic 引导合成经验生成（CGSE）
Generating Critic-Guided Synthetic Experience in Latent World Models
AI 导读
研究者提出 Critic-Guided Synthetic Experience（CGSE），将世界模型作为局部状态转移生成器，用 critic 引导在模型内选择动作以生成合成经验。
正文 · AI 翻译
摘要：从离线数据集中学习在可扩展性上受到限制，因为在现实世界中收集新经验往往成本高昂或不安全。世界模型提供了一种替代方式，通过学到的动力学模型生成新经验，然而在潜空间中进行策略学习会因想象推演中的复合误差而受到限制。为此，我们提出将世界模型用作局部转移生成器，利用评论家引导在该模型内部选择动作以生成合成经验。我们研究动作精炼方法，在世界模型中引入评论家引导的合成经验（CGSE）生成。具体而言，CGSE 通过使用离线策略采样候选动作，并在信任域内对每个动作进行精炼以最大化 $Q$ 函数的一阶近似，从而增强现有离线数据集。随后，我们使用冻结的潜世界模型在给定每个更新动作的情况下想象未来状态，并使用评论家选择最佳动作，将这一合成转移追加到回放缓冲区。我们的方法无需额外的真实环境交互或测试时规划器，因为它使用世界模型离线生成合成经验。在三个 OGBench 操作任务上，CGSE 使离线策略的平均成功率相对提升 $7.1\%$。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39100 [cs.LG] |
| （或 arXiv:2610.39100v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39100 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jorge De Freitas [查看电子邮件]
[v1]
2026年10月29日星期四 00:41:38 UTC（646 KB）
来源：arXiv cs.AI · arxiv.org