arXiv cs.CL· Austin C. Kozlowski, Avital Mintz, Madison Lee·· 11 小时前AI 评分49
Persona Perspectives:让 LLM 采用视角会重组其内部表征
Persona Perspectives: Adopting Viewpoints Reorganizes Representations in LLMs
AI 导读
研究发现,提示 LLM 采用自由派或保守派政治人格后,其潜空间中 9,000 多个常用词和 33 条语义轴的投影与轴间对齐会系统性偏移,方向与指定意识形态一致。
正文 · AI 翻译
摘要:用于监测大语言模型(LLM)特征的常用方法,如线性探针和稀疏自编码器(SAE),假设特征在不同上下文中保持一致的表示。然而,LLM 可以灵活地采用不同的视角或“人格”,这暗示着不同的底层概念关系系统。在本文中,我们考察提示 LLM 采用某种人格是否会改变模型潜在空间的表示几何结构。我们从采用自由派和保守派政治人格的模型中提取了 9,000 多个常用词和 33 个语义轴的表示,并将其与两个中性基线进行比较。我们发现,人格条件作用会系统性地改变词语在语义轴上的投影以及各语义轴之间的对齐关系,且变化方向与指定的意识形态一致。随后,我们检验了这种重组对两个安全相关特征的影响:真实性和道德性。线性探针、基于 SAE 的分类器以及基于人工选择词表示构建的分类器,均未在人格条件下训练,但在应用于以政治人格为条件的模型时产生了分歧的结果,对有争议陈述的真实性和道德性给出了带有政治倾向的评分。这些发现表明,按常规方式提取的内部表示在模型采用人格时可能表现出不同的几何关系,从而可能削弱监测工作。
| 评论: | 26 页,14 张图 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.06848 [cs.CL] |
| (或 arXiv:2611.06848v1 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.06848 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Austin Kozlowski [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 18:05:17 UTC(1,068 KB)
来源:arXiv cs.CL · arxiv.org