arXiv cs.CL· Mingyu Jin, Yutong Yin, Jingcheng Niu, Qingcheng Zeng, Wujiang Xu, Mengnan Du, Wei Cheng, Zhaoran Wang, Tianlong Chen, Dimitris N. Metaxas·· 11 小时前AI 评分34
任务越难表示越稀疏：分析 LLM 的 OOD 机制
Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs
AI 导读
研究发现 LLM 面对更难输入时，最后一层隐藏状态会系统性变稀疏，即“任务越难，表示越稀疏”，该规律在多种模型和领域上均可观察到。受控实验表明表示密度是模型习得的数据熟悉度属性：已掌握的模式形成丰富分布式表示，陌生输入则默认更稀疏激活。基于此提出的 SG-ICL 用稀疏度匹配查询难度的少样本示例，在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。
正文 · AI 翻译
摘要：在本工作中，我们研究了大语言模型（LLMs）的内部表示如何随输入难度的增加而变化。尽管稀疏性的变化在单个样本上可能并不明显，但数据集层面的结果揭示了一致的统计趋势：随着任务难度增加（例如更难的问题、更长的上下文或更多的答案选项），LLMs 的最后一层隐藏状态会系统性地变得更加稀疏。简而言之，\textbf{任务越难，表示越稀疏}。这种稀疏性—难度关系在多种模型和领域中均可观察到，表明更难的输入会在最后一层隐藏状态中驱动更集中的激活模式。通过一系列受控分析和学习动力学实验，我们表明表示密度是数据熟悉度的一种习得属性：模型对已掌握的模式会形成丰富、分布式的表示，而对不熟悉的输入则默认采用更稀疏的激活。我们的发现也具有可操作性。我们以稀疏性引导的课程上下文学习（SG-ICL）加以说明，该方法利用稀疏性来选择与查询难度匹配的少样本示例，在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。我们的研究为 LLM 表示如何反映任务难度以及如何利用这一信号进行推理提供了新的见解。源代码可在以下网址获取：this https URL。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.03415 [cs.CL] |
| （或 arXiv:2603.03415v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.03415 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yutong Yin [查看邮箱]
[v1]
2026年3月3日 星期二 18:48:15 UTC（427 KB）
[v2]
2026年3月19日 星期四 17:36:27 UTC（429 KB）
[v3]
2026年9月26日 星期六 05:28:48 UTC（1,266 KB）
[v4]
2026年11月4日 星期三 05:06:30 UTC（1,258 KB）
来源：arXiv cs.CL · arxiv.org