arXiv cs.CL· Anshul Kumar, Neha Prasad, Manoj Kumar, Barnab\'as P\'oczos, Deeksha Varshney·· 10 小时前AI 评分31
从线性探针到贝叶斯流形：大语言模型算术能力的几何结构
Linear Probes to Bayesian Manifolds: Geometry of Arithmetic in Large Language Models
AI 导读
研究提出四阶段贝叶斯流程，将线性探针结论拆分为可解码性、形状、归属与因果使用四项主张分别检验，并在 GPT-J 6B、Llama 3.1 8B 和 Pythia 6.9B 的两位数加法与乘法上验证。
正文 · AI 翻译
摘要：线性探针是研究大语言模型（LLM）激活中几何结构（如螺旋和圆）的标准方法，此类结构常被视为模型据此进行计算的证据。仅凭探针准确率无法确立这一点，因为它混淆了四个独立的论断。这四个论断是：（1）该概念可从激活中解码；（2）激活形成特定形状；（3）该形状属于被探测的概念，而非模型同样表示的某个相关概念；（4）模型的输出依赖于该形状。我们将这些论断称为可解码性、形状、归属和因果使用，并用四阶段贝叶斯流程分别检验它们。第 2 阶段比较候选形状，仅当其证据通过预设阈值时才选择最佳形状。第 3 阶段移除一组预先指定的相关概念，检验该形状是归属的还是继承的。第 4 阶段对形状进行干预，检验模型输出是否依赖于它。我们将该流程应用于 GPT-J 6B、Llama 3.1 8B 和 Pythia 6.9B 中的两位数加法和乘法。几乎每个概念都可解码，但解码出的方向在各概念间大幅重叠。每个获得强支持的比较都选择带状结构（即半径随数值变化的螺旋）或环面。在 1,330 个具有归属判定的单元中，19% 的形状是归属的，81% 是继承的。归属形状和继承形状对输出的影响频率大致相同。对形状进行干预可保留对完整探针干预约 61% 的效果，同时最多使用五个维度，而探针的中位数为九个维度。我们的结果表明，仅凭探针判定会夸大模型实际用于计算的内容，我们建议将探针结果报告为对全部四个论断的判定，而非单一准确率。
| 评论： | 26 页，4 幅图，20 张表。正在 ICLR 2027 审稿中 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.12998 [cs.LG] |
| （或 arXiv:2611.12998v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12998 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anshul Kumar [查看邮箱]
[v1]
2026 年 11 月 8 日星期日 14:13:26 UTC（785 KB）
来源：arXiv cs.CL · arxiv.org