arXiv cs.CL· Khoa D. Nguyen, Thai Bao Huynh, Binh T. Nguyen·· 10 小时前AI 评分18
PhoPunct：面向越南语标点恢复的 Transformer 架构大规模基准
PhoPunct: A Large-Scale Benchmark of Transformer Architectures for Vietnamese Punctuation Restoration
AI 导读
研究团队构建了包含 2210 万个标注 token（1990 万新闻、220 万小说）的越南语标点恢复基准，评测 4 种预训练 Transformer 骨干搭配可选 Bi-LSTM 与 CRF 层组成的 17 种架构及 PhoBERT-large-Bi-LSTM-CRF 模型 PhoPunct。
正文 · AI 翻译
摘要：越南语标点恢复通常在相对较小的基准上评估，这限制了对架构选择如何随数据量扩展的结论。我们在包含 2210 万个标注 token 的 News 和 Novels 语料库（1990 万 News 和 220 万 Novels）上提出了一个受控基准。我们评估了由四个预训练 Transformer 骨干网络以及可选的双向长短期记忆（Bi-LSTM）和条件随机场（CRF）层构成的 17 种架构，以及一个 PhoBERT-large-Bi-LSTM-CRF 模型 PhoPunct。每个模型都使用相同的学习率训练八个 epoch，且未进行针对架构的调优。在此固定预算下，添加 Bi-LSTM 和 CRF 层并不能可靠地提升宏 F1：在八组匹配的领域-骨干网络比较中，有七组中普通 Transformer 分类器达到或超过其 Bi-LSTM-CRF 对应模型。PhoPunct 获得最佳 News 结果（61.35），而带 CRF 的 XLM-R 获得最佳 Novels 结果（50.18），超过 PhoPunct（48.97）。这些结果表明，循环和结构化预测头的价值取决于其优化机制，并促使明确区分架构改进与由架构特定调优带来的改进。我们的源代码可在以下地址获取：this https URL
| 评论： | 已被 PACLIC 40 (2026) 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09107 [cs.CL] |
| （或 arXiv:2611.09107v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09107 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Khoa D. Nguyen [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 07:39:32 UTC（511 KB）
来源：arXiv cs.CL · arxiv.org