Jev 能否作为强化学习中的 Q 函数或策略？

查看 PDF HTML（实验性）

摘要：基础模型为强化学习（RL）提供了先验，缓解了其在样本效率和迁移方面长期存在的弱点，但其逐 token 生成的方式使查询变得串行且代价高昂。最近发布的决策模型 Jev 不生成任何内容，而是在单次前向传播中返回经过校准的、带类型的答案。现有研究将 RL 中的基础模型要么视为待训练的模型，要么视为待提示的生成器，而 Jev 不属于这两类，迄今为止仅在单一领域中作为黑盒使用。因此，这样的模型在 RL 环境中自主决策的效果如何，以及它作为训练组件如何改进 RL，仍未得到探讨。为此，在本文中，我们首先考察 RL 系统的各个对象对其所消费的答案提出的要求，并确立 Jev 能够满足除价值函数的基数用途之外的所有要求。其余对象构成若干位置，每个位置可承担多种角色。随后，我们构建算法，将 Jev 用于其中三个位置——作为参考策略、探索评判器和回放评分器——以提升样本效率、探索和学习性能。在九个 MiniGrid 任务和三个 Atari 游戏中，使用 Jev 进行训练优于标准 RL 学习器，包括在学习器单独无法取得进展的情况下，而模型本身保持未训练状态。据我们所知，我们首次将 Jev 用于 RL 学习过程，并确立了冻结决策模型作为 RL 训练可用组件的地位，这为进一步探索 Jev 及其他先进决策模型如何改进 RL 提供了契机。

提交历史

来自：Tianpei Yang [查看邮箱]
[v1] 2026年10月8日星期四 11:02:14 UTC（1,281 KB）