arXiv cs.AI· Pengcheng Wang, Zhexuan Zhang, Chao Lou, Kewei Tu·· 3 天前AI 评分27
句法语言模型的大规模实证研究：1B 参数下结构掩码优势消失
A Scaled-Up Empirical Study of Syntactic Language Models
AI 导读
一项针对句法语言模型（SLM）的大规模实证研究，在最高 1B 参数、100B 训练 token 规模下对比了 12 种配置（1 个终端基线 + 11 个不同线性化与注意力掩码的 SLM 变体），并在 11 个下游任务和两个句法基准上评测。
正文 · AI 翻译
摘要：句法语言模型（SLM）在生成句子的同时生成其句法树结构，在句法泛化和下游任务中均展现出潜力。然而，先前研究大多评估的是在较少预训练数据上训练的较小模型，并在较窄的任务套件上测试。此外，树线性化和注意力掩码的设计空间仍未得到充分探索。我们开展了一项大规模实证研究，涵盖 12 种受控配置——一个终端基线以及 11 个跨越不同线性化和掩码的 SLM 变体——规模最高达 1B 参数和 100B 训练 token，并在 11 个下游任务和两个句法基准上进行评估。实验结果表明，采用标准因果注意力的 SLM 在下游和句法基准上达到或超过结构掩码变体。它们无需架构修改，且与 FlashAttention 保持兼容。我们还观察到，当扩展到 1B 参数规模时，表现最佳的 SLM 变体不再明显优于计算量匹配的非结构基线，这表明 SLM 可能随规模增大而竞争力下降。我们的代码可在 此 https URL 获取。
| Comments: | 已被 EMNLP 2026 接收 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16837 [cs.CL] |
| （或 arXiv:2610.16837v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16837 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Pengcheng Wang [查看邮箱]
[v1]
2026年10月12日星期一 14:16:58 UTC（44 KB）
来源：arXiv cs.AI · arxiv.org