arXiv cs.CL· Arush Tagade, Shaoheng Zhou, Jiaxin Wen, Shi Feng·· 10 小时前AI 评分45
自我建模干预可调节大语言模型的涌现性失准
Self-Modeling Interventions can Modulate Emergent Misalignment
AI 导读
研究提出自我建模干预（自我识别与自我报告），在 GPT-4.1、Qwen2.5-32B-Instruct、Seed-OSS-36B-Instruct 三个模型上验证其可逆转并预防涌现性失准（EM）。预防场景下，仅自我识别微调能持续降低失准且不恶化任何单项指标。实验还显示 EM 微调会使模型身份自我报告碎片化、自我识别性能降至接近随机水平，表明 EM 是对齐性格的失稳而非采纳连贯的失准人格。
正文 · AI 翻译
摘要：涌现性失准（EM）已被关联到失准人格向量与邪恶性格特质的激活，这表明 EM 是通过破坏模型的对齐性格而非直接学习有害内容来运作的。受这一关联启发，我们研究自我建模干预：具体而言，自我识别与自我报告作为针对性格的干预手段，有别于现有的训练中防御措施。我们在三个模型（GPT-4.1、Qwen2.5-32B-Instruct、Seed-OSS-36B-Instruct）和多个 EM 数据集上开展两阶段微调实验，将自我识别微调与良性微调基线（正确的领域特定数据、通用知识、单词计数）进行比较，发现它在逆转和预防两种设置下都是有效的防御手段。在预防方面，只有自我识别微调能持续降低失准，且不加剧任何单项指标，这表明性格加固正是预防的驱动因素。我们还在这些模型上开展训练中实验，比较自我报告与良性交错、接种提示的有效性。我们进一步提供证据表明 EM 与 LLM 的默认性格相关：EM 微调会导致 LLM 身份自我报告碎片化，使自我识别性能降至约随机水平，人为破坏自我识别会加剧 EM 微调导致的失准，而用 EM 微调模型的自我报告进行微调可以迁移失准。综合来看，这些发现将 EM 重新界定为对齐性格的失稳，而非采纳一个连贯的失准人格。
| 评论： | 18 页，11 张图。已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.23700 [cs.CL] |
| （或 arXiv:2606.23700v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.23700 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Arush Tagade [查看邮箱]
[v1]
2026 年 6 月 4 日星期四 00:04:58 UTC（2,132 KB）
[v2]
2026 年 11 月 9 日星期一 22:42:24 UTC（2,896 KB）
来源：arXiv cs.CL · arxiv.org