arXiv cs.CL· Orion Reblitz-Richardson·· 10 天前AI 评分26
LLM 如何组织与构建道德知识
How Language Models Organize and Structure Moral Knowledge
AI 导读
研究者在开放权重语言模型上为道德基础理论（MFT）的六个类别各训练一个线性探针，发现这些方向既不塌缩为单一道德检测器，也不彼此孤立，而是张成接近最大数量的独立维度并共享一个正向公共分量（道德概念平均成对余弦 0.26，对照非道德概念为 0.013）。
正文 · AI 翻译
摘要：大型语言模型（LLM）如何组织道德知识？模型能广泛检测道德内容，但检测只是低标准。我们追问它们是否更进一步，区分不同的道德基础，并以几何方式组织它们之间的关系。
我们在开放权重语言模型上训练六个独立的线性探针，每个对应道德基础理论（MFT）的一个类别（关怀/伤害、公平/欺骗、自由/压迫、忠诚/背叛、权威/颠覆、圣洁/堕落），并考察所得方向在表示空间中如何相互关联。我们发现这些方向既未坍缩为单一的道德检测器，也未彼此孤立。相反，它们张成一个接近最大数量的独立维度，同时共享一个正向的公共分量。该共享分量是整合的标志，且相对于以相同方式构建的匹配非道德概念集而言是道德特有的（平均成对余弦 0.26 对 0.013）。
该几何结构在不同架构和规模上保持一致，并在预训练早期就进入其整合阶段，远早于探针准确率饱和。模型发现的结构没有显示出道德基础理论所预测的个体化/约束性区分的证据（一项统计功效不足的检验：仅存在 10 种不同的划分，因此无法在 0.05 水平上拒绝）而是反映了语料统计。扩展到道德困境时，每个困境方向部分地由其组成基础构成，达到不匹配配对基线的 2.7 倍，而其大部分方差编码的是冲突特有的结构。模型表示的是道德张力本身，而非预先解决的判断。
| Comments: | 32 页，16 幅图。代码和输出见 此 https URL |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM classes: | I.2.6；I.2.7 |
| Cite as: | arXiv:2608.27402 [cs.CL] |
| （或 arXiv:2608.27402v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2608.27402 arXiv 颁发的 DOI，经由 DataCite |
Submission history
来自：Orion Reblitz-Richardson [查看电子邮件]
[v1]
2026 年 8 月 27 日星期四 17:30:30 UTC（221 KB）
[v2]
2026 年 10 月 7 日星期三 17:49:26 UTC（222 KB）
来源：arXiv cs.CL · arxiv.org