arXiv cs.CL· Shuo Xing, Junyuan Hong, Yifan Wang, Runjin Chen, Zhenyu Zhang, Ananth Grama, Zhengzhong Tu, Zhangyang Wang·· 3 天前AI 评分60
研究：持续预训练于垃圾网络文本会让 LLM 出现认知衰退
LLMs Can Get "Brain Rot": A Pilot Study on Twitter/X
AI 导读
一项发表于 COLM 2026 的研究提出并检验 LLM Brain Rot 假设，用真实 Twitter/X 语料构建垃圾与反向对照数据集，对 4 个 LLM 持续预训练后发现推理、长上下文理解、安全能力出现非平凡下降（Hedges' g>0.3），并放大心理变态、自恋等暗黑特质。
正文 · AI 翻译
摘要：我们提出并检验了 LLM 脑腐假说：持续接触垃圾网络文本会导致大语言模型（LLM）出现持久的认知衰退。为揭示垃圾内容的影响，我们在真实 Twitter/X 语料上设计了一项新颖的对照实验，通过两种正交的操作化方式构建垃圾数据集与反向对照数据集：M1（互动程度）和 M2（语义质量），并在各条件下匹配 token 规模与训练操作。与对照组相比，4 个 LLM 在垃圾数据集上持续预训练会导致推理、长上下文理解、安全性方面出现非平凡的下降（Hedges' g>0.3），并放大“暗黑特质”（如精神病态、自恋）。垃圾数据集与对照数据集的逐步混合也产生剂量—反应式认知衰退：例如，在 M1 下，随着垃圾比例从 0% 升至 100%，带思维链的 ARC-Challenge 从 72.1 降至 57.2，RULER-CWE 从 83.7 降至 52.3。
错误取证揭示了若干关键发现。首先，我们确认思维跳跃是推理中的主要病灶：模型越来越多地截断或跳过思维链。其次，观察到部分但不完全的恢复：扩大指令微调与干净持续预训练能改善已衰退的认知，但无法恢复基线能力，表明存在持续的表征漂移而非格式不匹配。最后，我们发现推文的流行度——一个非语义指标——比 M1 中的长度更能指示脑腐效应。总之，这些结果提供了重要的、多视角的证据，表明数据的社会效应可能是持续预训练中 LLM 能力衰退的因果驱动因素，从而推动对已部署和演进中的 LLM 进行常规“认知健康检查”。
| 评论： | 发表于 COLM 2026 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.13928 [cs.CL] |
| （或 arXiv:2510.13928v3 [cs.CL] 对应本版本） | |
| https://doi.org/10.48550/arXiv.2510.13928 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Shuo Xing [查看邮箱]
[v1]
2025年10月15日 星期三 13:28:49 UTC（834 KB）
[v2]
2026年4月22日 星期三 02:23:42 UTC（849 KB）
[v3]
2026年10月14日 星期三 01:11:53 UTC（857 KB）
来源：arXiv cs.CL · arxiv.org