跳到正文
arXiv cs.CL· Aritra Das, Francesco Cagnetta, Darshil Doshi, Victor V. Albert, Maissam Barkeshli, Andrey Gromov·· 23 小时前AI 评分24

树形 n-gram 模型:作为语言的可控近似器

What's in a Tree ? Hierarchical $n$-gram models as controlled approximators of language

AI 导读

研究者提出 tree-grams——通过二阶与三阶张量的层级组合构建条件概率张量的自回归生成式 n-gram 模型,其中 n 控制最大上下文窗口、秩超参数 d 控制模型容量。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:分层模型已被提出作为研究语言的合成设置。然而,它们与现实语言语料库的相关性仍未被充分探索。在这项工作中,我们引入了 tree-grams,这是一种自回归生成式 $n$-gram 模型,通过二阶和三阶张量的分层组合来构建条件概率张量 $p(x_n \mid x_{1:n-1})$。$n$ 控制最大上下文窗口,而秩超参数 $d$ 控制模型容量,从而产生一个可解释且可系统扩展的语言近似器族。我们展示了 tree-grams 如何优于现有的 $n$-gram 基线,同时与基于深度 transformer 的语言模型保持竞争力。我们通过将 tree-grams 用作生成模型,展示了这种受控近似的实用性。特别地,我们表明,当在由具有中等 $n$ 和 $d$ 的 tree-grams 生成的更简单数据上调整更窄的模型时,$\mu$P 下的超参数迁移可以变得更加稳健。此外,我们表明熵和有效相关范围控制着微调后的性能差距。这是因为 tree-grams 允许我们显式控制视野和容量。当允许在候选拓扑之间进行路由时,我们观察到 tree-grams 中出现涌现的稀疏性。这种集中的路由允许剪枝多达 95\% 的拓扑,而性能没有显著变化。
评论: 7+13 张图,10+30 页
主题: 计算与语言(cs.CL);无序系统与神经网络(cond-mat.dis-nn);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.23093 [cs.CL]
  (或 arXiv:2611.23093v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23093

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Aritra Das [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 17:14:01 UTC(1,613 KB)

来源:arXiv cs.CL · arxiv.org