arXiv cs.CL· Bryce Grant, Peng Wang·· 10 小时前AI 评分31
用层论分解 Transformer 表征：把局部上下文粘合成全局语义
Gluing Local Contexts into Global Meaning: A Sheaf-Theoretic Decomposition of Transformer Representations
AI 导读
研究者提出用层论（sheaf）在释义图上构建胞腔层，无需训练即可通过 Laplacian 得到内容子空间，仅 20 维核在 8 个模型的 CounterFact 事实检索上平均超过 LEACE 全维子空间 17.1 个百分点，联合约束同一事实的所有释义再提升 6.5 个百分点。
正文 · AI 翻译
摘要：以往的可解释性研究并未检验表征在改述下是否保持一致。每一对改述都可以看作一个局部见证，表明两个激活应当相同。从这些局部见证出发，我们可以在改述图上构建一个胞腔层。在给定冻结模型的情况下，改述下什么保持一致这一问题可以由拉普拉斯算子 $L_\mathcal{F}$ 来回答。无需训练。我们的核 $H^0$ 给出了一个内容子空间。我们表明，在 8 个模型上，仅用 20 维的核在留出的 CounterFact 事实检索上就比 LEACE 用全部维度保留的子空间平均高出 $+17.1$\,pp。通过将一个事实的所有改述一起约束，我们看到了额外的 $+6.5$\,pp 提升。我们的谱补集向我们展示了因果影响集中的位置。消融改述时变化最大的坐标（这近似于在坐标层面消融谱补集）导致模型输出的变化比消融具有匹配的逐坐标变异性的坐标大 $5.6$ 到 $26.5\times$。我们在从 124M 到 13B 参数的 9 个模型上发现了这一点。通过堆叠层，我们可以创建一个具有 $b_1 = N(L-1)$ 个代数 1-循环的网格。从模型导出的调和质量在 6 种架构之间变化近 3 个数量级。它还跟踪了引导脆弱性的顺序（Spearman's $\rho = 0.90$，精确单侧置换 $p = 0.014$）。核、其谱补集和调和质量都来自同一个改述图。项目页面：this https URL。
| 评论： | NeurIPS 2026 Poster, ICLR Unifying Concept Representation Learning |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.17117 [cs.CL] |
| （或 arXiv:2610.17117v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17117 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bryce Grant [查看电子邮件]
[v1]
2026年10月12日星期一 17:10:02 UTC（317 KB）
[v2]
2026年10月30日星期五 17:27:35 UTC（312 KB）
来源：arXiv cs.CL · arxiv.org