arXiv cs.CL· Pardis Sadat Zahraei, Gokhan Tur, Dilek Hakkani-T\"ur, Ehsaneddin Asgari·· 6 天前AI 评分48
对齐否决：安全训练如何压制 LLM 中的文化知识
The Alignment Veto: How Safety Training Suppresses Cultural Knowledge in LLMs
AI 导读
研究覆盖 16 个 MENA 国家、26 个模型和 153 万份人类调查问卷，发现对齐训练与文化价值冲突时发生的是压制而非抹除：模型在拒绝回答时，其内部 logit 分布与人类调查数据的相关性反而强于自由生成的答案，作者称之为"对齐否决"。
正文 · AI 翻译
摘要：当对齐训练与语言模型所编码的文化价值观发生冲突时，模型内部会发生什么？我们跨越 16 个中东北非国家、26 个模型和 153 万份人类调查回复，表明答案是压制，而非抹除：在拒绝的那一刻，模型的内部 logit 分布与人类调查数据的相关性比其自由生成的答案更强。我们将此称为对齐否决。我们区分了压制失败（准确的内部分布在输出端被阻断）与表征偏差失败（编码本身偏离人类价值观），并表明二者需要不同的干预措施。这道闸门是不公平的：安全税高达 37.6%，服务最好与最差国家之间的对齐质量差距为 19.8%，而母语提示会扩大而非缩小这一差距。稀疏自编码器分析，并辅以跨对齐阶段的比较，在 Tulu-3-8B 中识别出一个介导压制的候选 DPO 阶段特征。这道闸门真实存在，其代价并不平等，而决定它应当保护什么并不是一个技术问题。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2510.13154 [cs.CL] |
| （或 arXiv:2510.13154v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.13154 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | EMNLP 2026 主会口头报告 |
提交历史
来自：Pardis Sadat Zahraei [查看电子邮件]
[v1]
2025年10月15日星期三 05:10:57 UTC（32,655 KB）
[v2]
2026年6月18日星期四 05:54:33 UTC（5,205 KB）
[v3]
2026年10月9日星期五 02:47:49 UTC（4,007 KB）
来源：arXiv cs.CL · arxiv.org