arXiv cs.AI· June Hunter, Lily Wen, Owen Terry, Johannes Taraz, Ben Cohen, Niels Warncke·· 3 天前AI 评分41
语言模型倾向的分布外泛化如何预测：一项基于交叉诱导矩阵的研究
Predicting how model propensities generalize out of distribution
AI 导读
研究用系统提示、few-shot、SFT 和 GRPO 等手段提升模型的特定倾向，再通过交叉诱导矩阵测量其向其他倾向的溢出效应。结果显示，同一诱导技术下不同模型的溢出高度相关，但 SFT 与 GRPO 产生不同的溢出模式，且良性倾向的诱导有时会泛化出不良倾向，例如被训练自称有感知的模型往往变得更追求权力。研究还发现溢出部分类似人类的特质相关性，并用 EFA 识别出三个特质聚类，可解释约一半方差。
正文 · AI 翻译
摘要：语言模型如何从其训练数据中进行泛化？这是对齐领域的一个核心挑战：只要有足够的样本，模型就能可靠地学习其训练分布，但我们希望模型在部署到新情境时也能表现良好。我们研究倾向的分布外（OOD）泛化。我们的核心实验使用一系列诱导技术——系统提示、少样本学习、基于参考答案的 SFT 以及 GRPO——来增强模型中的目标倾向，然后通过由此得到的交叉诱导矩阵衡量它如何溢出到其他倾向上。我们发现，当使用相同的诱导技术时，不同模型之间的溢出高度相关，但我们的 SFT 和 GRPO 运行会诱导出不同的溢出特征。
对良性特质的诱导有时会泛化到不良特质，例如，一个被训练声称自己有感知能力的模型往往会变得更加追求权力。我们进一步发现，溢出部分类似于在人类身上发现的特质相关性，并通过探索性因子分析（EFA）识别出三个特质聚类，它们解释了约一半的方差。在许多诱导运行中，我们观察到模型以不依赖于目标特质的特征性方式发生变化，我们将这一现象称为漂移。漂移使 Qwen3.5-9B 向其基础模型靠拢。
在调查 LLM 是否能够预测溢出时，我们发现 Claude Opus 5.5 预测溢出的效果略好于模型自身，但不如使用替代诱导方法或模型的数据驱动方法。总体而言，没有出现单一占主导地位的预测因子，泛化仍然难以预测。代码和数据可在 此 https URL 获取。
| Comments: | 29 页，21 张图。代码和数据：此 https URL |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（stat.ML） |
| Cite as: | arXiv:2610.14937 [cs.AI] |
| （或 arXiv:2610.14937v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14937 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Niels Warncke [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 14:10:07 UTC（2,937 KB）
来源：arXiv cs.AI · arxiv.org