arXiv cs.AI· Celia Cintas, Miriam Rateike, Erik Miehling, Elizabeth Daly, Skyler Speakman·· 3 天前AI 评分23
LLM 中人格表征的定位研究
Localizing Persona Representations in LLMs
AI 导读
研究利用降维与模式识别方法，定位了多个预训练 decoder-only LLM 中人格（persona）表征的编码位置，发现所分析的人格仅在解码器层最后三分之一才出现显著表征差异。在选定层中，道德虚无主义与功利主义等伦理视角的激活存在重叠，暗示一定程度的语义多义性，而保守主义与自由主义等政治意识形态则分布在更独立的区域。
正文 · AI 翻译
摘要：我们研究了大语言模型（LLM）的表征空间中，如何以及在何处编码由不同人类特征、价值观和信念所定义的人物角色（personas）。我们使用一系列降维和模式识别方法，首先识别出在编码这些表征时差异最大的模型层。随后，我们分析所选层内的激活，以考察特定人物角色相对于其他角色是如何被编码的，包括它们共享和不同的嵌入空间。我们发现，在多个仅解码器的预训练 LLM 中，所分析的人物角色仅在解码器层的最后三分之一内表现出较大的表征空间差异。我们观察到特定伦理观点——例如道德虚无主义和功利主义——的激活存在重叠，表明存在一定程度的多义性。相比之下，保守主义和自由主义等政治意识形态似乎被表征在更为不同的区域。这些发现有助于增进我们对 LLM 如何在内部表征信息的理解，并可为未来改进 LLM 输出中特定人类特质调控的工作提供参考。警告：本文包含可能具有冒犯性的示例陈述。
| Comments: | 修正了 Level 0、1 和 2 分析中小的命名不一致问题 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2505.24539 [cs.CL] |
| （或 arXiv:2505.24539v5 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.24539 由 DataCite 颁发的 arXiv DOI |
|
| Journal reference: | Proceedings of the AAAI ACM Conference on AI, Ethics, and Society, 8(1), 630-642, 2025 |
| 相关 DOI： | https://doi.org/10.1609/aies.v8i1.36577
链接到相关资源的 DOI |
提交历史
发件人：Miriam Rateike [查看电子邮件]
[v1]
2025年5月30日星期五 12:46:44 UTC（5,521 KB）
[v2]
2025年6月3日星期二 08:45:28 UTC（5,523 KB）
[v3]
2025年9月8日星期一 18:14:07 UTC（5,523 KB）
[v4]
2026年7月28日星期二 16:02:36 UTC（5,997 KB）
[v5]
2026年10月10日星期六 15:44:47 UTC（5,997 KB）
来源：arXiv cs.AI · arxiv.org