跳到正文
arXiv cs.CL· Th{\'e}otime de la Selle (ISC, HiSoMA, CNRS)·· 10 小时前AI 评分22

从转录到语义语料分析:古语言句子表示的无监督学习

From transcription to semantic corpus analysis: unsupervised learning of sentence representations for ancient languages

AI 导读

研究用TSDAE和无监督SimCSE两种全无监督策略,将专用token级语言模型适配为语料专属句子编码器,仅需原始句子。在拉丁语和古希腊教父文献的圣经引用识别任务上(2,936句专家核验引用),适配编码器在检测与检索两项任务上均领先多语言、专用、蒸馏及监督微调基线;CSE仅需4–8k句域内原始句子即可在笔记本GPU上数十秒训练达到最优,并能跨作品、跨作者迁移。

正文 · AI 翻译

查看 PDF

摘要:自动文本识别(ATR)如今为数字人文研究提供了大量非结构化、异构且往往带有噪声的古代语言文本。下游的语义分析——文本复用识别、对齐和语义搜索——依赖于句子嵌入,然而现有方法难以迁移到古代语言:通用多语言编码器表现不佳,专用语言模型产生各向异性的表示空间,而标注相似度数据稀缺。我们研究了两种完全无监督的策略——TSDAE 和无监督 SimCSE(下文简称 CSE)——它们仅使用原始句子,将专用的词级语言模型适配为特定语料的句子编码器。我们在拉丁语和古希腊语教父文学中的圣经复用上验证了这些策略:2,936 个句子在奥古斯丁、杰罗姆和亚他那修的作品中带有专家验证的复用,并与武加大译本、七十士译本和 Nestle--Aland 新约进行匹配。我们将复用识别分解为二元检测和对应检索,分别评估这两项任务,并在干净文本以及受模拟 HTR 错误和抄写缩写扰动的文本上,将适配后的编码器与多语言、专用、蒸馏和监督微调基线进行基准比较。在这些测试集上,适配后的编码器在两项任务上均领先所有基线,且具有互补的特性:在拥有大规模领域内语料时,TSDAE 在检测上领先;而 CSE 在检索上领先,仅需 4--8k 条原始领域内句子即可达到最优——在笔记本电脑 GPU 上训练仅需几十秒——并且能够跨作品和作者迁移。在模拟噪声下,在扰动文本本身上重新训练 CSE 优于在干净文本上训练的编码器。对齐度、均匀性和各向异性的测量将每种策略的几何效应与测得的增益联系起来。完整流程——分词、微调、跨语料语义搜索——可通过在线工具 Paraphrasis 供非专业人士使用。
主题: 计算与语言(cs.CL);数字图书馆(cs.DL);信息检索(cs.IR)
引用为: arXiv:2607.24542 [cs.CL]
  (或 arXiv:2607.24542v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2607.24542

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Theotime de la Selle [查看电子邮件] [通过 CCSD 代理]
[v1] 2026年7月27日星期一 15:20:13 UTC(6,202 KB)
[v2] 2026年11月19日星期四 13:27:36 UTC(6,763 KB)

来源:arXiv cs.CL · arxiv.org