跳到正文
arXiv cs.CL· Liang Yue, Eric A. Vance·· 10 小时前AI 评分52

研究:LLM 评判者的知识难以迁移,但类别偏好会传给 RL 模型

Blind Spots Travel, Knowledge Stays Home: What RL Inherits from an LLM Judge

AI 导读

一项 814 次 RL 实验研究考察 7-8B 模型从 LLM 评判者那里继承了什么,发现评判者对单个答案的知识几乎不迁移,用答案键或更强评判者训练,模型选择新问题作答的能力也不比未训练模型好,评判者知识每百题仅多纠正约一个答案。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:LLM 评判器在不存在标准答案的场景中充当奖励,期望其知识能传递给被训练的模型。在 814 次强化学习运行中——这些运行训练 7-8B 模型回答闭卷问题或选择弃答——我们探究了什么能够传递。评分者对单个答案的认知无法传递。评判器给予奖励的错误答案,仅会被针对该问题记忆下来。使用标准答案或远强于模型的评判器训练的模型,在选择回答哪些新问题时,并不比未训练模型通过采样 32 个答案并在分歧处弃答的表现更好;评分者的知识每百题仅增加约一个被纠正的答案。评分者对某类问题的看法则会传递。一个拒绝了关于前国家首都的十二个正确训练答案中十一个的评判器,会教模型在新问题上拒绝 98% 的此类首都问题,而准确率和弃答率均无法揭示这一损失。仅手动更改这十二个判定,就能将拒绝率从 5% 移至 90%,即使对于接受与标准答案同样多答案的评分者也是如此;在这种宽松度下,四位评判者中已有两位会损失 38-42% 的此类首都问题。这些首都知识并未被遗忘:在屏蔽“我不知道”的情况下,模型能正确回答其中 94% 的问题。因此,评分者无需自身具备知识:奖励模型给出其自身未训练样本中多数一致的答案,无需标签和评判器,即可获得标准答案的奖励并保持类别。
评论: 31 页,6 幅图,27 张表。代码与数据:此 https URL
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.25191 [cs.CL]
  (或 arXiv:2611.25191v1 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2611.25191

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Liang Yue [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 21:13:28 UTC(115 KB)

来源:arXiv cs.CL · arxiv.org