arXiv cs.AI· Mohan Li, Chengyu Yu, Francesco Sovrano, Marc Langheinrich, Martin Gjoreski·· 3 天前AI 评分62
NeurIPS 2026 论文提出对齐-效用不对称：语义保持变换下模型有害率大幅上升
LLM Alignment--Utility Asymmetry under Semantic-Preserving Transformations
AI 导读
arXiv 论文《LLM Alignment--Utility Asymmetry under Semantic-Preserving Transformations》用规则化。
正文 · AI 翻译
摘要：大语言模型（LLM）对齐旨在确保模型保持有用且安全，但其在输入分布偏移下的稳定性尚未被完全理解。先前工作表明，对齐后的模型在越狱提示、替代编码和跨语言迁移下可能失效，但这些失效通常被作为攻击而非对齐泛化的受控探针来研究。此外，现有证据大多基于预训练中已出现的自然语言变异，因此无法确定对齐是随语义内容泛化，还是仍受限于表层模式。本文中，我们使用基于规则且可逆的合成语义保持变换来研究这一问题，这些变换在保持任务相关含义的同时将输入推离标准语言变异范围。在四个开放权重模型和四个商业模型上，在微调和上下文学习两种设置下，我们使用这些变换作为对齐泛化的探针，并识别出一种我们称为“对齐—效用不对称”的经验模式：一旦模型能够有效处理变换后的输入，任务效用往往基本保留，而对齐失效则上升得更急剧。例如，经过适配的 GPT-4.1 mini 在变换下仅表现出有限的效用下降，而其有害率从 13.3 上升到 74.3；Gemini 3 Flash 同样保持接近原始的效用，而其有害率从 2.3 上升到 43.0。综合来看，这些结果表明，语义保持的分布偏移可以揭示当前 LLM 中效用与对齐泛化方式的一个反复出现的缺口。
| 评论： | 58 页。已被 NeurIPS 2026 接收 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.32717 [cs.CL] |
| （或使用 arXiv:2609.32717v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.32717 由 DataCite 提供的 arXiv 颁发 DOI |
|
| 期刊 参考： | 第 40 届神经信息处理系统大会（NeurIPS 2026） |
提交历史
来自：Mohan Li [查看电子邮件]
[v1]
2026 年 9 月 26 日星期六 15:31:46 UTC（816 KB）
[v2]
2026 年 10 月 13 日星期二 14:38:55 UTC（808 KB）
来源：arXiv cs.AI · arxiv.org