arXiv cs.AI· Toni J. B. Liu, Jiajun Bao, Gurbir Arora, Mitchell Ostrow, Yizhou Liu, Rapha\"el Sarfati, Nicolas Boull\'e, Christopher J. Earls·· 13 小时前AI 评分31
LLM 如何编码并调节一元先验：unembedding 中的“无知方向”
The Direction of Ignorance: LLMs Encode and Temper a Unigram Prior
AI 导读
研究发现 LLM 的 unembedding 矩阵中存在一个“无知方向”，编码训练语料的一元分布，作为模型不确定时回退的贝叶斯先验，该结构在 Llama、Qwen、Gemma、Pythia 等 0.4B 至 405B 参数模型家族中普遍存在。
正文 · AI 翻译
摘要：当线索很少时，语言模型会预测什么？答案在于其反嵌入几何结构：反嵌入矩阵的单个方向编码了训练语料的一元分布，该分布充当模型在不确定时回退所依赖的贝叶斯先验。这一结构被称为“无知方向”，在所考察的所有模型系列（Llama、Qwen、Gemma 和 Pythia）中均出现，参数量从 0.4B 到 405B 不等。将最终预测状态投影到该方向上，可得到逐 token 的先验加载因子 $\lambda$，随着上下文信息量增加，该因子稳步下降。形式上，同一投影将预测状态分解为两个正交向量，可解释为退火贝叶斯更新的两个分量：提升到指数 $\lambda$ 的一元先验，以及由上下文驱动的似然。这种几何与概率之间的联系使 $\lambda$ 在不同模型规模和系列之间具有有意义的可比性。较大的模型通常表现出较低的先验依赖，而推理模型比其基础版本表现出更低的依赖。最后，我们表明 $\lambda$ 可作为因果的推理时控制：降低它可以促进由上下文驱动的续写，并在 GSM8K 上改进 Llama-3.2-3B-Instruct，而放大它或沿随机方向施加匹配扰动则会降低性能。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（stat.ML） |
| 引用为： | arXiv:2609.02959 [cs.LG] |
| （或此版本的 arXiv:2609.02959v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.02959 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jianbang Liu [查看电子邮件]
[v1]
2026年9月2日星期三 05:05:50 UTC（6,122 KB）
[v2]
2026年10月29日星期四 05:14:41 UTC（9,323 KB）
来源：arXiv cs.AI · arxiv.org