arXiv cs.CL· Szymon Kocur·· 9 天前AI 评分22
Wieszcz-XIX：31 亿词 1800-1918 年波兰语语料库与从零训练的时间受限语言模型
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
AI 导读
研究者发布 Wieszcz-XIX，一个收录 1800 至 1918 年波兰语出版物、共 67.5 亿 token（约 31 亿词）、294,369 份文档的语料库，规模比同期标注语料大三个数量级以上，并已排除 1918 年后泄漏内容。
正文 · AI 翻译
摘要：历史波兰语作为一种语言有充分的文献记录，但以机器可读形式标注的语料仅约一百万词，涵盖本文所涉时期；其余部分则依赖质量参差不齐的光学字符识别。我们提出 Wieszcz-XIX，一个包含 6.75 亿个 token（约 3.1 亿词）、294,369 份文档的语料库，其中大部分是期刊，内容为 1800 至 1918 年出版的波兰语，由 Wolne Lektury 和 Internet Archive 通过一条流水线汇集而成，该流水线进行过滤、去重、审计 1918 年后的泄漏，并在文档级别进行划分。它比同一时期的标注语料库大三个数量级以上，我们量化了其缺陷：相对于假阳性下限的识别损坏、近乎完全重复（已移除），以及 1918 年后的泄漏（已从训练语料库本身中排除，直至其字节中已知残留的 0.04% 至 0.38%，这些残留存在于转录来源中），因此发布的语料库与训练所用语料库逐文档完全一致。在人工校正的样本上，文本清晰可辨处的字符错误率为 0.68%，而 45% 的抽样段落无法校正。我们在此基础上从头训练了一系列仅解码器模型，参数规模从 47M 到 349M，并测量其时间边界性。与两个现代波兰语基础模型（其中一个规模大得多）相比，349M 模型显示出交叉点，107M 模型与其同规模比较对象相比也是如此：1918 年后的词汇比时期词汇多耗费它们约 3.1 比特每字节，而比较对象未显示出这一差距，且时期词汇耗费它们的比特数少于耗费比较对象的比特数。面对时期文本时，这些模型保留了其拼写，而比较对象仅部分保留。增加参数带来的收益约为对数据再训练一遍的两倍。我们发布语料库、代码和权重。内容警告：这些模型会再现时期偏见，包括反犹言论。
| 评论： | 35 页，2 幅图，11 张表。语料库：此 https URL；代码：此 https URL；权重：此 https URL |
| 主题： | 计算与语言（cs.CL）；数字图书馆（cs.DL） |
| ACM 分类： | I.2.7；H.3.7 |
| 引用为： | arXiv:2610.10592 [cs.CL] |
| （或 arXiv:2610.10592v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10592 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Szymon Kocur [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 18:35:26 UTC（181 KB）
来源：arXiv cs.CL · arxiv.org