arXiv cs.CL· Jiachen Zhao, Zhengxuan Wu, David Bau, Weiyan Shi·· 10 天前AI 评分25
Persona Hierarchy Model：理解 LLM 微调中的上下文泛化
The Persona Hierarchy Model: Understanding Contextual Generalization in Fine-Tuning LLMs
AI 导读
研究者提出 Persona Hierarchy Model，用共享默认人格解释 LLM 微调的上下文泛化：修改共享人格的微调带来更广迁移，改动局部人格则更局限于特定上下文。
正文 · AI 翻译
摘要：语言模型通常会在固定上下文（例如通用系统提示、人设或特定领域指令）下进行微调，但所学到的行为有时仅限于该上下文，有时又会广泛泛化到未见过的上下文。我们提出人设层级模型来解释这一点：一个共享的默认人设会影响跨上下文的行为。在该模型下，修改共享人设的微调会促进更广泛的迁移，而对局部人设的修改则更具上下文特异性。在涵盖四种行为和 15 种训练上下文的 120 个微调模型中，泛化狭窄性与训练上下文的人设和默认人设之间的相似度呈正相关（Qwen3-4B 的 Pearson r = 0.72）。在默认上下文下进行的先前微调可以拓宽后续在其他上下文下训练时的泛化。将上下文响应与默认人设响应对齐会产生更强的效果。最后，我们提出人设保持正则化（PPR）来限制不期望的上下文泛化。在 RL 中，PPR 在每个评估提示下都将奖励黑客行为从 42-55% 降至最多 0.2%，同时保持准确率提升。这些结果支持将人设层级模型作为上下文泛化的一种解释，并可推动未来对意外泛化进行控制，以更好地对齐 LLM。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.09384 [cs.CL] |
| （或 arXiv:2610.09384v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09384 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jiachen Zhao [查看邮箱]
[v1]
2026年10月7日星期三 03:40:44 UTC（1,786 KB）
来源：arXiv cs.CL · arxiv.org