arXiv cs.AI· Swathi Shree Narashiman, Aravind Ramana Venkatramanan, Nambi Seshadri·· 3 天前AI 评分20
语言模型 Logits 的几何结构：通用规律与学习到的偏离
The Geometry of Language Model Logits: Generic Structure and Learned Departures
AI 导读
自回归语言模型每一步预测产生的词表 logit 向量，其有序头部 logits 在不同预测上下文、架构和规模下均遵循 log-linear 关系 z_(r) ≈ μ - α log r，并在预训练中逐步显现。受控次序统计基线可解释这一几何形态，却无法解释斜率 α 的系统性偏移：训练后模型 α ≈ 1.4–1.7，远高于初始化基线 α ≈ 0.2，且 α 与预测性能相关。
正文 · AI 翻译
摘要：自回归语言模型在每一步预测时都会产生一个词表大小的 logit 向量，其结构决定了条件下一词元分布。我们通过实证发现，有序词表头部 logit 在不同预测上下文、架构和规模下都遵循一个高度一致的 log-线性关系
\[ z_{(r)} \approx \mu - \alpha \log r. \]，并在预训练过程中逐步显现。据我们所知，这是对先前解码工作中所用分布假设背后的 logit 几何结构的首次系统分析。虽然涵盖有界、轻尾和重尾分布的受控顺序统计基线可以在很大程度上解释观察到的 log-线性几何，但它们无法解释斜率 $\alpha$ 的系统性偏移：训练后的语言模型表现出 $\alpha \approx 1.4$--$1.7$，远高于初始化基线（$\alpha \approx 0.2$）。此外，$\alpha$ 与预测性能相关，表明它捕捉到了超出一般极值效应的学习结构。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18520 [cs.CL] |
| （或 arXiv:2610.18520v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18520 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Swathi Shree Narashiman [查看电子邮件]
[v1]
2026年10月13日星期二 15:11:06 UTC（653 KB）
来源：arXiv cs.AI · arxiv.org