arXiv cs.CL· SK Deeraj, Yash Ingle, Pruthwik Mishra·· 11 小时前AI 评分27
从 OPUS Books 构建德英平行语料并微调 NLLB-200
Dataset Collection and Fine-Tuning of NLLB for German--English Translation
AI 导读
研究者从 OPUS Books 整理出 2.5 万条高质量德英平行句对，并微调 Meta 的 NLLB-200 模型。微调后的 NLLB-600M 在文学与技术类德英翻译上较基座模型提升 +3.4 BLEU、+2.6 chrF++、降低 3.2 TER，且已集成进开源文档翻译系统 LinguaHaru，支持 PDF 与 Office 文档的格式保留翻译。
正文 · AI 翻译
摘要：本文介绍了从 OPUS Books 整理高质量平行语料库，并对 Meta 的 NLLB-200 模型进行德语—英语翻译微调的工作。我们详细描述了一个数据集提取流水线，通过编码验证、长度过滤、语言识别、去重和质量评分，将 45k 条原始 OPUS 句对筛选为 25k 条高质量样本。我们提出了一套可复现的微调方法，针对消费级 GPU 进行优化，采用混合精度、梯度累积和梯度检查点。我们微调后的 NLLB-600M 模型在文学和技术类德英翻译上相较基础模型取得了统计显著的提升（+3.4 BLEU、+2.6 chrF++、-3.2 TER）。我们通过将微调后的模型集成到 LinguaHaru（一个现有的开源文档翻译系统）中展示了实际部署，实现了跨 PDF 和 Office 文档的格式保持翻译。所有数据集准备脚本、训练代码和评估工具均已提供以保证可复现性。微调后的模型可在 HuggingFace 获取。
| 评论： | 6 页，5 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07797 [cs.CL] |
| （或 arXiv:2611.07797v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07797 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pruthwik Mishra [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 10:35:22 UTC（31 KB）
来源：arXiv cs.CL · arxiv.org