arXiv cs.CL· Chenxiao Yu, Bowen Yi, Farzan Karimi-Malekabadi, Suhaib Abdurahman, Jinyi Ye, Shrikanth Narayanan, Yue Zhao, Morteza Dehghani·· 10 小时前AI 评分32
追踪大语言模型中的道德基础
Tracing Moral Foundations in Large Language Models
AI 导读
研究以道德基础理论（MFT）为框架，考察 Llama、Qwen2.5、Qwen3-MoE、Mistral 四个模型家族、7B 至 70B 共 14 个基座与指令微调 LLM 如何编码和表达道德基础。
正文 · AI 翻译
摘要：大型语言模型常常产生类似人类的道德判断，但尚不清楚这反映的是内部概念结构还是表面的“道德模仿”。我们以道德基础理论（MFT）作为分析框架，研究道德基础如何在 14 个基础模型和指令微调 LLM 中被编码、组织和表达，这些模型涵盖四个模型家族（Llama、Qwen2.5、Qwen3-MoE、Mistral），规模从 7B 到 70B。我们采用多层次方法，结合：(i) 对 MFT 概念表示及其与人类道德感知对齐情况的逐层分析，(ii) 在残差流上使用预训练稀疏自编码器（SAE）来识别支持道德概念的稀疏特征，以及 (iii) 使用稠密 MFT 向量和稀疏 SAE 特征进行因果引导干预。我们发现，模型表示和区分道德基础的方式与人类判断相一致，并且这种道德几何结构自然地从预训练中涌现，并通过后训练被选择性地重新连接。在更细的尺度上，SAE 特征显示出与特定基础的清晰语义联系，表明共享表示中存在部分解耦的机制。最后，沿稠密向量或稀疏特征进行引导会对与基础相关的行为产生可预测的变化，证明内部表示与道德输出之间存在因果联系。总之，我们的结果提供了机制性证据，表明 LLM 中的道德概念是分布式的、分层的且部分解耦的，提示多元道德结构可以仅从语言的统计规律性中作为一种潜在模式涌现出来。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.05437 [cs.CL] |
| （或 arXiv:2601.05437v4 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2601.05437 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chenxiao Yu [查看邮箱]
[v1]
2026年1月9日星期五 00:09:28 UTC（2,004 KB）
[v2]
2026年5月9日星期六 10:47:25 UTC（2,029 KB）
[v3]
2026年5月19日星期二 04:13:06 UTC（2,038 KB）
[v4]
2026年11月9日星期一 23:17:45 UTC（2,019 KB）
来源：arXiv cs.CL · arxiv.org