arXiv cs.CL· Donato Meoli, Eryk Wdowiak·· 12 小时前AI 评分20
从 PDF 到基线：低资源场景下西西里语 NMT 数据管线自动化与基线复现
Climbing the Ladder: Automating Data Pipelines and Reproducing Baselines in Low-Resource Settings
AI 导读
研究重建了 Wdowiak 为西西里语定制的小型 NMT 系统，从双语期刊 Arba Sicula 的 PDF 中重新提取平行文本，并用语言无关句编码器对齐、按自动对齐典型错误过滤。
正文 · AI 翻译
摘要：如今包含西西里语的大规模多语言翻译系统是从嘈杂、不规范的网络文本中学会它的。为了获得更好的翻译质量，我们重新开发了 Wdowiak 为西西里语定制的小型神经机器翻译（NMT）系统。我们在维护良好的软件上重建了从双语期刊 Arba Sicula 的 PDF 中提取平行文本的流程，其句子由与语言无关的句子编码器对齐，阈值根据现有的人工对齐结果进行调整，然后过滤掉自动对齐的典型错误。此外，原系统的分词和偏向词尾的亚词切分被移植到无 Perl 的实现中，所有结果都在从该期刊抽取的冻结测试集上进行测量。我们比较了从头训练的小型 Transformer 与通过低秩微调适配的预训练 NLLB 模型，涵盖两个翻译方向并以意大利语作为密切相关的桥接语言，同时我们将原系统的反向训练方案适配到预训练模型上，即先对网络西西里语的正向评分回译进行一个阶段，再对精选文学文本进行一个阶段。预训练模型远优于两者，而分阶段训练对译入西西里语的提升大于译出西西里语。在原系统的测试集上，并在其评分所用的分词空间中，采用更大适配器和更多回译的分阶段模型在涉及英语的方向上优于反向训练方案，而在西西里语与意大利语之间则低于该方案。然而，多语言适配器会降低其未训练方向的表现，这限制了它作为通用多语言模型的用途。
| 评论： | 17 页，6 张表格 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.30374 [cs.CL] |
| （或 arXiv:2610.30374v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.30374 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Eryk Wdowiak [查看邮箱]
[v1]
2026 年 10 月 21 日周三 19:36:05 UTC（26 KB）
来源：arXiv cs.CL · arxiv.org