arXiv cs.CL· Shailesh Rana·· 11 小时前AI 评分38
语言模型如何在内部收敛到答案：Llama、Qwen、Gemma 四模型研究
The Shape of Wisdom: How Language Models Converge on an Answer
AI 导读
研究者在 Llama-3.1-8B、Qwen2.5-7B、Gemma-2-9B 和 Llama-3.2-1B 四个开源模型上输入 2,256 个事实性问题，发现同答案问题会在状态空间中收敛到共享的“答案质心”，且答案在网络 47%-71% 深度处的某一层突然变得可读。网络后段将答错问题的状态移到正确答案质心，可使模型在 83%-97% 的情况下改答正确，而同等幅度随机移动仅 2%-4% 有效。
正文 · AI 翻译
摘要：当语言模型回答一个事实性问题时，它的内部状态会走向何处？我们向四个开放模型（Llama-3.1-8B、Qwen2.5-7B、Gemma-2-9B 和 Llama-3.2-1B）提出了 2,256 个答案会重复出现的事实性问题，例如某人是哪国公民。在每一层，我们都记录了产生答案时所处的状态。得到相同答案的问题会汇聚到状态空间中的同一共享区域，我们以其中心——答案质心——来概括该区域。答案在单层之内就变得可读。在每个模型中，状态最接近其自身答案质心的问题所占比例都会在某一层骤增，该层位于网络深度的 47% 到 71% 之间。质心跟随的是模型给出的答案，而非问题：从关于人们公民身份的问题中学到的某个国家的质心，也能在关于城镇和电影的问题中识别出该国家。模型也确实会利用这些质心。在骤增层之后，将答错问题的状态移动到正确答案的质心，可使模型在网络后段于 83%-97% 的情况下给出正确答案，而同等大小的随机移动仅为 2%-4%。在骤增层之前，同等大小的移动几乎从不奏效。近失（模型答错但在多项选择中选对了正确选项）可以从起始层看出，此时正确答案的质心已经处于距离该状态最近的质心之列。这一信号的信息量与正确答案在模型最终输出中的排名大致相当，且比模型对其回答的置信度更具信息量。
| 评论： | 10 页，5 幅图。本版本以一项新研究取代了此前的决策轨迹分析。代码与数据：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.01202 [cs.AI] |
| （或本版本引用 arXiv:2606.01202v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2606.01202 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shailesh Rana [查看邮箱]
[v1]
2026 年 5 月 31 日周日 12:33:36 UTC（157 KB）
[v2]
2026 年 10 月 20 日周二 10:43:08 UTC（345 KB）
来源：arXiv cs.CL · arxiv.org