arXiv cs.CL· Aidan McCarthy·· 11 小时前AI 评分18
LAMB：面向拉丁语的现代上下文语言模型
LAMB: A Modern Contextual Language Model for Latin
AI 导读
基于 ModernBERT 架构的拉丁语编码器 LAMB 发布，采用形态学感知掩码方案，在两阶段预训练中使用了超过 74B 拉丁语 token。研究同时推出 Acervus（24B BERT WordPiece token，含超 760K 条经 ByT5 修复的严重损坏 OCR 样本）和首个拉丁语语义三元组数据集 Corpus Trinum（超 100M 强弱三元组）。
正文 · AI 翻译
摘要：本文介绍 Latin Modern BERT（LAMB），这是一种基于 ModernBERT 架构的拉丁语编码器，采用一种新颖的形态学感知掩码方案，在超过 74B 拉丁语 token 上分两个阶段进行预训练。我们还提出了两个拉丁语语料库。Acervus 包含 24B 个 BERT WordPiece token，其中包括超过 760K 个来自严重受损 OCR 转录的样本，这些样本由为拉丁语文本修复而训练的 ByT5 模型修复。第二个数据集 Corpus Trinum 包含超过 100M 个强、弱拉丁语语义三元组的混合。Corpus Trinum 是首个拉丁语语义三元组数据集，为拉丁语语言模型适配通用句子语义相似度任务打开了大门。我们使用五个任务和十七个子任务构建了一个实验网格，对 15 个预训练编码器、6 个 LAMB 训练检查点以及一个旨在量化不同掩码方案影响的消融模型，应用了多种微调配置和子词聚合技术。利用该基准，我们对拉丁语编码器进行排名，发现 LAMB 在 17 个子任务中的 16 个上优于所有其他被评估模型，在第十七个任务上与最先进水平相差不到 0.8 个百分点。我们提供了额外的分析，将拉丁语编码器性能与分词器行为、句法结构、微调配置、预训练状态、子词聚合以及源文本和领域的变化联系起来。在这些分析中，我们识别出拉丁语开放类词在终端衰减阶段的独特习得动态，并确定对于某些任务类别，微调配置的选择对下游分数的影响可能大于额外的预训练 token。
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7; I.2.6 |
| 引用为： | arXiv:2610.31723 [cs.CL] |
| （或此版本的 arXiv:2610.31723v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.31723 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aidan McCarthy [查看电子邮件]
[v1]
2026年10月22日星期四 11:07:14 UTC（404 KB）
来源：arXiv cs.CL · arxiv.org