arXiv cs.CL· Mathis Immertreu, Achim Schilling, Thomas Kinfe, Patrick Krauss·· 12 小时前AI 评分24
在自然语言上训练的神经后继表征中涌现词类与构式类结构
Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
AI 导读
在 WikiText-103 上训练的残差网络无需词性监督即可预测三个时间尺度的后继表征（SR）分布，最短尺度下的无监督聚类稳健还原名词、动词和形容词，簇间有向转移复现了熟悉的句法不对称性。在更细粒度及 13 个词性类别上，同一几何结构揭示出跨越类别边界的语义—功能分组，以及指向候选日期、度量与标题—名称构式的有向关系。词性一致性随预测尺度延长而下降，表明词类是更丰富预测几何中的粗略区域。
正文 · AI 翻译
摘要：神经语言模型通常基于下一词元预测进行训练，尽管语言结构跨越多个时间尺度。后继表示（SRs）通过对未来状态的折扣分布进行编码，使这一时间范围变得明确。在此，我们探究此类预测表示能否从自然语言中不仅恢复词类，还能恢复更精细的功能结构和构式类结构。一个在 WikiText-103 上训练的残差网络在三个时间范围上预测 SR 分布，且无词性监督。在最短时间范围上，无监督聚类能稳健地恢复名词、动词和形容词，而簇间的有向转移再现了熟悉的句法不对称性。在更细的分辨率下以及跨 13 个词性类别，相同的几何结构揭示了跨越类别边界的语义-功能分组，以及追踪候选日期、计量和标题-名称构式的有向关系。随着预测时间范围延长，词性一致性下降。这些结果表明，词类是更丰富的预测几何结构中的粗略区域，其中类别结构和构式类语言结构从未来词分布中涌现。
| 主题： | 计算与语言（cs.CL）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2605.24585 [cs.CL] |
| （或 arXiv:2605.24585v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.24585 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mathis Immertreu [查看电子邮件]
[v1]
2026年5月23日星期六 13:55:09 UTC（541 KB）
[v2]
2026年10月5日星期一 08:06:32 UTC（423 KB）
[v3]
2026年10月21日星期三 09:14:42 UTC（433 KB）
来源：arXiv cs.CL · arxiv.org