arXiv cs.CL· Giacomo Bais, Tejaswini Deoskar·· 2 天前AI 评分22
TagInsert：Transformer 序列生成中的动态顺序，低资源标注场景实验
Dynamic ordering in sequence generation in Transformers: experiments on low-resource Tagging scenarios
AI 导读
基于 Transformer 的 TagInsert 模型移除解码器侧注意力掩码，让模型在推理时自行决定标签生成顺序，从而打破常见的从左到右（L2R）生成范式。
正文 · AI 翻译
摘要：本文介绍了 TagInsert，这是一种基于 Transformer 的模型，它挑战了 Transformer 中常见的从左到右（L2R）生成范式，适用于依赖关系可能并不自然符合 L2R 顺序的序列标注任务。TagInsert 通过移除解码器侧的注意力掩码，使模型能够在推理时决定首选的标签生成顺序，从而解除了 L2R 约束。我们在多种语言和低资源数据设置下，对常见的词性标注以及更复杂的组合范畴语法（CCG）超标注任务进行了实验。我们表明，尽管像 BERT 这样的仅编码器模型在标注任务中仍然表现强劲，但 TagInsert 经常优于 L2R 编码器-解码器模型，在数据稀缺条件下达到与仅编码器模型相当的结果，并在稀有类别的长尾上表现出更好的结果。我们的分析表明，TagInsert 通过学习将困难的预测推迟到解码过程的后期阶段，缓解了自回归模型典型的误差传播问题。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21862 [cs.CL] |
| （或 arXiv:2610.21862v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21862 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Giacomo Bais [查看电子邮件]
[v1]
2026年10月15日星期四 13:36:46 UTC（301 KB）
来源：arXiv cs.CL · arxiv.org