后继表征无监督还原词类与构式结构

Mathis Immertreu 等作者提交论文，研究在自然语言上训练的神经后继表征能否恢复词类与构式结构。作者称，在 WikiText-103 上训练的残差网络无需词性监督即可预测三个时间尺度的后继表征分布；最短尺度下的无监督聚类稳健还原名词、动词和形容词，簇间有向转移复现了熟悉的句法不对称性。 在更细粒度及 13 个词性类别上，同一几何结构揭示出跨越类别边界的语义—功能分组，以及指向候选日期、度量与标题—名称构式的有向关系。作者同时报告，词性一致性随预测尺度延长而下降，认为词类是更丰富预测几何中的粗略区域。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。