arXiv cs.AI· Damiano Fornasiere, Mirko Bronzi, Spencer Kitts, Alessandro Palmas, Yoshua Bengio, Oliver Richardson·· 2 天前AI 评分40
语言模型能识别自身激活上的 dropout 与高斯噪声
Language models recognize dropout and Gaussian noise applied to their activations
AI 导读
研究发现语言模型能检测、定位并一定程度描述施加在其激活上的语义无关扰动。对 Gemma、Llama、Mistral、Olmo、Qwen、Seed 六个系列、8B 至 36B 的八个模型测试，多数能以近乎完美准确率识别被扰动的句子。Olmo 在预训练中形成该能力，Qwen3-32B 与 Qwen3.8-27B 识别扰动类型的零样本准确率与扰动强度相关。
正文 · AI 翻译
摘要：我们提供证据表明，语言模型能够检测、定位并在一定程度上用语言描述施加于其激活值上的非语义扰动之间的差异。更确切地说，我们在目标句子上要么（a）施加 dropout，要么（b）向其添加高斯噪声。然后我们提出一个多项选择题，例如“之前哪一句被扰动了？”或“施加了哪种扰动？”。我们测试了来自 Gemma、Llama、Mistral、Olmo、Qwen 和 Seed 系列的八个模型，规模在 8B 到 36B 之间，所有这些模型都能轻松检测并定位扰动，且往往达到完美准确率。为探究其机制，我们发现 Olmo 模型在预训练过程中发展出这种能力，并排除了被扰动句子仅仅具有更低对数似然的假设。值得注意的是，Qwen3-32B 和 Qwen3.8-27B 在识别施加了哪种扰动时的零样本准确率与扰动强度相关。虽然这项任务对其余模型来说很难，但其中大多数模型在上下文教学中能够学会区分 dropout 和高斯噪声。有趣的是，Qwen3-32B 和 Qwen3.8-27B 在错误标签监督下学习效果更差，这再次表明其存在朝向正确标签的先验。由于 dropout 被用作训练正则化技术，而高斯噪声有时在推理时被添加，我们讨论了数据无关的“训练感知”信号的可能性及其对 AI 安全的影响。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2604.17465 [cs.AI] |
| （或 arXiv:2604.17465v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.17465 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Damiano Fornasiere [查看邮箱]
[v1]
2026年4月19日星期日 14:30:13 UTC（94 KB）
[v2]
2026年4月30日星期四 22:17:02 UTC（94 KB）
[v3]
2026年10月14日星期三 19:43:24 UTC（6,905 KB）
来源：arXiv cs.AI · arxiv.org