arXiv cs.CL· Florian Mai, David Kacz\'er·· 2 天前AI 评分34
ContextLift：打破条件性涌现错位背后的伪相关
ContextLift: Breaking the Spurious Correlation Behind Conditional Emergent Misalignment
AI 导读
针对语言模型在窄域错位数据上微调后出现的条件性涌现错位，研究者提出反事实增强方法 ContextLift：将一半安全数据行复制并逐字插入随机训练提示中的上下文句，对齐答案不变，从而打破上下文与错位答案的伪相关。
正文 · AI 翻译
摘要：在狭隘地偏离对齐的数据上微调语言模型，可能使其广泛地偏离对齐。穿插通用安全数据是目前已知最有效的训练中防御手段，但一旦提示词与微调上下文相似，偏离对齐就会重新出现。我们认为这种条件性偏离对齐是一种虚假相关：在训练混合数据中，微调领域的上下文只与偏离对齐的答案同时出现，因此模型将自身行为锚定在上下文上，而非请求上。我们提出 ContextLift，一种反事实增强方法，无需任何模型、标签或领域知识即可打破这种相关性：将一半穿插的安全样本复制一份，并逐字从随机训练提示词中提取一个上下文句子附加其上，其对齐答案保持不变。在基于不良安全、法律和医疗建议微调的 Qwen2.5-7B 上，通用穿插在领域线索下分别留下 18.9%、41.9% 和 58.2% 的偏离对齐答案；在相同数据和计算预算下，ContextLift 将其降至 2.6%、6.1% 和 12.8%，同时保持狭隘任务和良性微调任务不受影响，并且在偏离对齐样本仅占微调集 10% 少数时同样有效。代码：此 https URL
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21633 [cs.CL] |
| （或 arXiv:2610.21633v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21633 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：David Kaczér [查看邮箱]
[v1]
2026年10月15日星期四 10:18:41 UTC（29 KB）
来源：arXiv cs.CL · arxiv.org