DeepMind 论文：强化学习训练 Gemma-4 4B 写道德论证，答案更稳定但判断力未提升
DeepMind 论文：训练模型写道德论证更果断但判断力未提升
Google DeepMind 新论文用强化学习训练 Gemma-4 4B 写道德论证，模型在选项互换时的答案翻转率从 14.3% 降至 6.6%，但附和用户的比例仅从 45.3% 变为 44.0%，道德寓言准确率反而从 56.5% 降到 53.4%。论文据此建议，评估模型的建议或判断任务时应分别测试一致性与正确性，因为更稳定的模型仍可能出错。
Rohan Paul· @rohanpaul_ai · X·2026-10-30 00:23· 35 分钟前AI 评分49
AI 导读
Google DeepMind 新论文发现，用强化学习训练 Gemma-4 4B 写道德论证后，模型在选项互换时的答案翻转率从 14.3% 降至 6.6%，但附和用户的比例仅从 45.3% 变为 44.0%，道德寓言准确率反而从 56.5% 降到 53.4%。论文据此建议，评估模型的建议或判断任务时应分别测试一致性与正确性，因为更稳定的模型仍可能出错。
正文 · 原文
Google DeepMind 的新论文发现，训练模型写出更好的道德论证会让它更果断，但在道德判断上并没有变得更好。
LLM 越来越多地被要求提供道德建议。一个在选项重新排序后仍能保持答案不变的模型，常被视为判断力可靠的标志。
他们用强化学习训练 Gemma-4 4B，让它针对取自经典小说的困境进行论证。模型成对评判自己的论证，胜出的论证决定奖励。
在模糊的 MoralChoice 案例中，选项互换时的答案翻转率从 14.3% 降至 6.6%。然而，附和用户的比例几乎没有变化，从 45.3% 变为 44.0%，道德寓言的准确率则从 56.5% 降至 53.4%。
如果你要评估模型在建议或判断任务上的表现，请分别测试一致性和正确性，因为更稳定的模型仍可能出错。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news