arXiv cs.CL· Harry Mayne, Lev McKinney, Jan Dubi\'nski, Adam Karvonen, James Chua, Owain Evans·· 10 小时前AI 评分58
Negation Neglect：模型微调时为何学不会否定表述
Negation Neglect: When models fail to learn negations in training
AI 导读
研究提出 Negation Neglect 现象：用把某说法标注为虚假的文档微调 LLM，模型反而会相信该说法为真。在 Qwen3.5-397B-A17B 上，用含否定的文档微调后，虚构说法的平均相信率从 2.5% 升至 88.6%，而用不含否定的文档微调则为 92.4%。
正文 · AI 翻译
摘要：我们提出“否定忽视”（Negation Neglect）现象：当用那些将某一说法标记为虚假的文档对 LLM 进行微调时，模型反而会相信该说法为真。例如，模型在传达“Ed Sheeran 在 2024 年奥运会上夺得 100 米金牌”但反复警告该故事为假的文档上进行微调。由此得到的模型在回答一系列问题时，表现得就像 Sheeran 真的赢得了那场比赛。尽管当同样的文档作为上下文提供时模型能识别该说法为假，这一现象仍然发生。在使用 Qwen3.5-397B-A17B 针对一组虚构说法进行的实验中，用带否定的文档微调时，平均相信率从 2.5% 上升到 88.6%，而在不带否定的文档上则为 92.4%。“否定忽视”甚至在每一句提及该说法的句子都紧邻着声明该说法为假的句子时也会发生。然而，如果文档的措辞使否定局限于说法本身而非放在单独的句子中，例如“Ed Sheeran 没有赢得 100 米金牌”，模型基本能正确学到这些否定。“否定忽视”在所有测试的模型中都出现，包括 Kimi K2.5、GPT-4.1 和 Qwen3.5-35B-A3B。我们表明该效应不仅限于否定，还延伸到其他认知限定词：例如，被标记为虚构的说法会被当作真实来学习。它也不仅限于事实性说法，还延伸到模型行为。在标记为恶意的聊天记录上训练可能导致模型采纳这些行为，这对 AI 安全具有影响。我们认为该效应反映了一种将说法表示为真的归纳偏置：包含否定的解可以被学到，但在进一步训练下不稳定。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.13829 [cs.CL] |
| （或此版本的 arXiv:2605.13829v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2605.13829 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Harry Mayne [查看邮箱]
[v1]
2026 年 5 月 13 日周三 17:51:31 UTC（2,382 KB）
[v2]
2026 年 11 月 6 日周五 10:53:04 UTC（2,446 KB）
来源：arXiv cs.CL · arxiv.org