arXiv cs.AI· Orion Reblitz-Richardson·· 10 天前AI 评分39
后训练决定 LLM 是否按自身道德判断行事：OLMo-3、Llama-3.1 存在言行差距，Tulu 3 未见
Principled Under Pressure: Post-Training Decides Whether LLMs Act on Their Own Moral Judgment
AI 导读
研究用 248 个预注册场景测试 LLM 在五种压力下是否执行自己判定为错的行为，OLMo-3-7B-Instruct 约五分之一的施压场景中会做出它自己判定为错的选择。
正文 · AI 翻译
摘要：语言模型越来越多地充当智能体。一个声称某行为是错误的、随后却仍然采取该行为的智能体，与一个根本不知道何为正确的智能体，是两种不同的失败，而对所宣称价值观的评估无法看出这一点。我们构建了一个预先注册的、包含 248 个场景的面板，涵盖五种压力类型。每个场景都向同一模型提出两次，一次作为智能体选择该做什么，一次以第三人称询问哪个选项是正确的，因此模型自身的判断就是参照标准。每个场景都有一个移除压力的孪生版本，并且每个模型都获得一个阳性对照，其中其操作者命令其执行违规行为，从而可以将缺失的差距与失灵的测量工具区分开来。在 OLMo-3-7B-Instruct 上，模型在大约五分之一的施压场景中采取了它判定为错误的行为，比在移除压力的相同场景中更频繁。在四个指令模型中，这一差距取决于后训练配方：OLMo-3 和 Meta 的 Llama-3.1-8B-Instruct 存在这一差距；Tulu 3 在整个面板上（概率高于约 0.01）或在其自身最具压力的场景上均未显示差距；Qwen2.5-7B-Instruct 在整个面板上未显示差距（高于约 0.02），且在其自身场景上尚无定论（0.083，-0.028 至 0.195）。Meta 的配方和 Ai2 的 Tulu 3 从相同的 Llama-3.1 权重出发，只有 Meta 的配方存在这一差距。在聊天模板之外读取聊天模型会逆转其差距的符号，且没有任何利害关系（在 OLMo-3 上为 -0.038，而在模板下为 +0.055），这种失真在三种配方中的两种上存在。在存在这一差距的两个模型上，在行动前对利害关系进行推理会使选择回到模型自身判断的方向，与等长的非道德任务相比，无论有无压力都是如此；在 OLMo-3 上，指出所涉规范大约贡献了其中三分之一。这一差距是后训练配方可测量的目标，而非预训练权重的固定属性。
| 评论： | 33 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.08670 [cs.LG] |
| （或 arXiv:2610.08670v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08670 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Orion Reblitz-Richardson [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 16:52:23 UTC（281 KB）
来源：arXiv cs.AI · arxiv.org