arXiv cs.CL· Haruki Sakajo, Frederikus Hudi, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe·· 12 小时前AI 评分26
StructLens：用最大生成树为语言模型提供结构化视角
StructLens: A Structural Lens for Language Models via Maximum Spanning Trees
AI 导读
StructLens 框架通过残差流中的语义表示构建最大生成树，从整体结构视角分析语言模型的表示组织。研究发现中间层的局部跨度组织最强，且预训练检查点显示较小的局部单元更早可被检测到、较大单元出现更晚。代码已开源，论文被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：语言具有内在结构，这一特性既解释了语言习得，也解释了语言变化。鉴于这一特征，我们预期语言模型也会表现出其自身的内部结构。尽管可解释性研究已通过注意力模式和稀疏自编码器从机制上探究了模型如何计算表征，但由此产生的表征的组织方式却被忽视了。为填补这一空白，我们提出 StructLens，一个从整体结构视角分析表征的框架。StructLens 受依存句法中树表示的启发，基于残差流中的语义表征构建最大生成树，并提供表征空间中 token 关系的摘要。我们分析了相邻 token 在表征空间中是否也彼此邻近，发现中间层表现出最强的局部跨度组织。此外，对预训练检查点的分析表明，较小的局部单元在预训练中更早可被检测到，而较大的单元则较晚。我们的发现表明，StructLens 为理解模型如何在各层和训练过程中组织 token 表征提供了洞见。我们的代码可在 此 https URL 获取。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.03328 [cs.CL] |
| （或 arXiv:2603.03328v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.03328 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haruki Sakajo [查看邮箱]
[v1]
2026年2月10日 星期二 11:30:32 UTC（2,701 KB）
[v2]
2026年5月18日 星期一 04:36:15 UTC（1,521 KB）
[v3]
2026年10月21日 星期三 02:41:46 UTC（1,874 KB）
来源：arXiv cs.CL · arxiv.org