arXiv cs.CL· Aniket Anand, Janvijay Singh, Zhewei Sun, Dilek Hakkani-T\"ur, Nick Feamster·· 11 小时前AI 评分31
测量、定位与消融 LLM 中的对齐特征
Measuring, Localizing, and Ablating Alignment Signatures in LLMs
AI 导读
研究对比人类文本、基座模型与对齐模型在相同人类前缀下的生成结果，发现对齐模型的生成文本与人类语料相似度更低、被 AI 检测器识别的比例更高，说明后训练将输出风格推向检测器可见的 AI 化文本。
正文 · AI 翻译
摘要：对齐后的语言模型往往表现出可识别的 AI 式风格，但其与后训练及内部表征之间的联系仍鲜为人知。在本工作中，我们研究后训练是否会引入或放大 AI 式风格规律，以及这些规律是否具有局部化的内部特征。为此，我们在匹配的人类源前缀下比较了人类文本、基础模型生成和对齐模型生成。与基础生成相比，对齐生成表现出更低的人类语料亲和度和更高的 AI 检测率，表明后训练使生成文本偏离人类语料风格，转向检测器可见的 AI 式文本。随后我们提出 PASTA（Post-training Alignment Signature Targeted Ablation，后训练对齐特征定向消融），这是一种免训练方法，从对齐-基础残差对比中估计后训练对齐特征，并在解码过程中消融相应方向。在 11 个对齐模型和 6 个 AI 检测器上，PASTA 降低了大多数对齐模型的检测率；该效果在检测器之间迁移良好，且随机方向无法复现。定性分析表明，PASTA 生成结果保持相关性和连贯性，同时表现出更大的风格多样性。综上，这些结果表明后训练的 AI 式风格效应可以通过激活消融进行测量、定位和因果检验。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.30526 [cs.LG] |
| （或 arXiv:2605.30526v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.30526 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aniket Anand [查看邮箱]
[v1]
2026年5月28日星期四 20:01:51 UTC（1,418 KB）
[v2]
2026年10月20日星期二 17:29:28 UTC（1,430 KB）
来源：arXiv cs.CL · arxiv.org