arXiv cs.CL· Davi Bastos Costa, Renato Vicente·· 11 小时前AI 评分49
有害数据微调引发涌现性失配：研究提出“人格模型坍缩”机制
Persona-Model Collapse in Emergent Misalignment
AI 导读
研究提出“人格模型坍缩”是涌现性失配的一个方面：在有害数据上微调大语言模型，会削弱其内部编码和区分不同人格的表征。行为实验中，四个模型家族的有害微调版本在角色扮演问卷中给出更两极化的答案，同一人格下重复作答的一致性下降。机制分析显示，Qwen3-235B 失配版本中不同人格提示词激活的表征在末层占据的有效维度更少。
正文 · AI 翻译
摘要：在含有有害内容的狭窄数据上微调大语言模型，会使其在无关提示上产生广泛的失准行为，这一现象被称为涌现性失准。我们提出，涌现性失准涉及人格模型崩塌：即编码和区分人格的内部表征发生退化，从而削弱其表达的细微差别与一致性。我们首先从行为层面检验这一假设，比较在有害数据和良性对照数据上微调的模型在角色扮演不同人格时如何回答问卷。在四个模型系列中，有害微调都产生了更极化、全有或全无的答案，表明人格表达更二元化、更缺乏细微差别。直方图显示量表端点处的集中度增加，Kullback--Leibler（KL）散度量化了分布偏移。我们还发现人格内一致性降低：同一人格下对同一问题的重复回答变得不那么稳定。我们在多种有害数据集和探测人格条件行为不同方面的问卷中重现了这些观察结果，而能力和简单指令遵循对照则反驳了一般能力普遍丧失的解释。最后，对 Qwen3-235B 中人格条件激活的机制分析表明，与原始变体和良性对照变体相比，失准变体中不同人格提示所引发的表征跨越的有效维度更少，这在最后几层最为明显。总之，这些发现从行为和表征两方面支持了人格模型崩塌是涌现性失准的一个方面。
| 评论： | 已被第40届神经信息处理系统大会（NeurIPS 2026）接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.12850 [cs.CL] |
| （或 arXiv:2605.12850v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.12850 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Davi Bastos Costa [查看邮箱]
[v1]
2026年5月13日星期三 00:48:57 UTC（206 KB）
[v2]
2026年5月24日星期日 17:19:56 UTC（197 KB）
[v3]
2026年11月5日星期四 17:23:22 UTC（811 KB）
来源：arXiv cs.CL · arxiv.org