Chelsea Finn 提出生成式价值分类器：无需动作条件化的 Q 函数参数化

生成式价值分类器：无需动作条件化的Q函数

AI 导读

Chelsea Finn 提出生成式价值分类器，一种不需要动作条件化的 Q 函数参数化方式，认为其可与大型预训练策略优雅结合，并从更丰富的输出信号中更好地学习和泛化。该方法针对机器人策略 RL 中需从稀疏奖励单独训练 critic、无法利用预训练动作数据的问题，探索让 critic 像策略一样从动作中学习。

正文 · AI 翻译

Chelsea Finn· @chelseabfinn · X·2026-10-25 06:09· 57 分钟前AI 评分34

AI 导读

生成式价值分类器是一种新的 Q 函数参数化方式，不需要动作条件化。我们认为它们或许能与大型预训练策略优雅地结合，并从更丰富的输出信号中更好地学习和泛化。论文：https://alexanderswerdlow.github.io/gvc/

正文 · 原文

生成式价值分类器是一种新的 Q 函数参数化方式，不需要动作条件化。

我们认为它们或许能与大型预训练策略优雅地结合，并从更丰富的输出信号中更好地学习和泛化。

论文：https://alexanderswerdlow.github.io/gvc/

引用Alexander Swerdlow@alexjswerdlow

在语言模型中，把生成模型变成评论家很简单：传入输出并提示给出分数。机器人策略做不到这一点——它们输出物理动作，而且没有内置词表来预测分数。因此，在对机器人策略做 RL 时，我们通常从稀疏奖励中训练一个单独的评论家——它对策略从预训练数据的动作中学到的一切一无所知。我们认为这搞反了——评论家能否像策略那样从这些动作中学习？(1/n)

在 X 查看被引用的帖子

来源：Chelsea Finn · x.com

来源：RadarAI · aihot.news