arXiv cs.CL· Quang Anh Kiet Tran, Nam Anh Tran, Manh Hung Trinh, Thanh Danh Le, Khang Nhat Hoang Vo, Huynh Dai Nhan Tran·· 12 小时前AI 评分26
GoiBERT：两阶段知识蒸馏打造的紧凑越南语语言模型
GoiBERT: Compact Vietnamese Language Models via Two-Stage Knowledge Distillation
AI 导读
GoiBERT 推出 26M 和 49M 参数的两个紧凑越南语编码器，直接处理原始文本、无需外部分词。
正文 · AI 翻译
摘要：越南语预训练编码器发展迅速，但最强的模型要么是大型多语种词表模型，要么依赖外部分词，部署成本高昂。我们提出 GoiBERT，这是一个包含两个紧凑越南语编码器的模型家族，参数量分别为 26M 和 49M，可直接处理原始文本。GoiBERT 从两个互补的教师模型中学习。一个使用相同分词器的越南语编码器首先教授通用表示。随后，一个规模大得多的教师模型通过软标签提供任务级指导，而这些软标签的生成无需标注其自身的训练数据。在涵盖文本分类、方面级情感分析、自然语言推理和命名实体识别的八项基准测试中，GoiBERT-large 在非教师模型中取得了最高平均分。其参数量不到最强紧凑基线的一半，吞吐量却是其两倍。GoiBERT-base 以四分之一的规模保留了该基线 99% 的性能。我们的分析表明，压缩在情感和分类任务上几乎无损，但在推理和实体识别任务上仍有代价，这为未来工作指明了明确方向。我们的代码和模型可在以下地址获取：this https URL
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30067 [cs.CL] |
| （或 arXiv:2610.30067v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.30067 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Khang Vo Hoang Nhat [查看邮箱]
[v1]
2026年10月21日星期三 17:24:36 UTC（182 KB）
来源：arXiv cs.CL · arxiv.org