arXiv cs.CL· Marius De Kuthy Meurers, Aaron Parisi, Bernd Bohnet·· 12 小时前AI 评分34
自我奖励的道德论证让语言模型更果断却更易被左右：一致性不等于有效性
Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable
AI 导读
研究者用自我评判的锦标赛式强化学习训练语言模型，让模型对自身生成的论证按质量两两打分并据此获得奖励，在 MoralChoice、ELEPHANT 和 MORABLES 三个外部基准上，该策略变得更果断、对选项呈现顺序更不敏感，但谄媚与重新框定问题仍威胁判断有效性。作者据此指出，顺序重排下的一致性可以在不提升道德判断力的情况下被优化，一致性并不等于有效性。
正文 · AI 翻译
摘要：大语言模型越来越多地被用于征询道德判断。我们的目标是通过奖励好的论证来提升此类任务的表现，前提是论证得好会增加判断得好的可能性。我们在一个带有掩蔽思考的自我评判锦标赛中，训练一个从最先进语言模型初始化的强化学习策略：生成的论证由该策略自身按论证质量进行两两评判。作为实证基础，我们从经典小说中提取真实的困境，使用逻辑求解器验证每个困境都构成冲突。我们表明，我们的评判器对论证质量的评分与人类标注者一致，随后该策略采用了它所奖励的语言语域。在外部基准 MoralChoice、ELEPHANT 和 MORABLES 上测试，我们发现该策略变得更加果断，并且对选项呈现顺序保持不变，但谄媚和重新框定仍然是有效性的挑战。两项使用合成困境和未掩蔽思考的消融研究与重排序带来的增益相符，但显示出较弱的语域转变和更高的谄媚性。我们得出结论：一致性不等于有效性：重排序下的一致性可以在不改善其本应标示的道德判断的情况下被优化。
| 评论： | 20 页，10 张图，9 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.30349 [cs.CL] |
| （或 arXiv:2610.30349v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30349 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marius De Kuthy Meurers [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 19:08:39 UTC（115 KB）
来源：arXiv cs.CL · arxiv.org