Dynalize在线缓解偏好奖励模型奖励黑客

Afonso Baldo等作者提出 Dynalize，用于在策略训练过程中在线缓解偏好奖励模型的奖励黑客问题。 该方法由一个语言模型定期异步分析训练 rollout，针对奖励模型似乎在奖励的不良行为撰写惩罚项，再由裁判模型把惩罚项应用到每条 rollout 上。 报道未给出该方法在具体任务上的效果数据，其缓解作用目前仅为作者提出的方法主张。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。