跳到正文
arXiv cs.AI· Guillem Ram\'irez·· 10 小时前AI 评分26

SALT:用片段级监督改进跨语言 Token 表示

Improving Cross-Lingual Token Representations by Adding a Pinch of SALT

AI 导读

研究者提出轻量级后训练方法 SALT,通过向现有句子编码器注入片段级监督来改进 Token 表示。在五个多语言 Token 级基准上,SALT 在其中四个取得最佳整体结果,优于其他微调策略和竞争编码器。该方法还提升了跨语言检索与分类的句子级表现,说明片段级监督能同时改善 Token 与句子表示。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:跨语言句子编码器能够实现数百种语言之间的可扩展迁移,为翻译挖掘和低资源场景下的零样本学习等应用提供支持。尽管这类编码器是针对句子级对齐训练的,但它们越来越多地被应用于幻觉检测和序列标注等词元级任务,暴露出训练与使用之间的不匹配。我们提出 SALT,这是一种轻量级的后训练方法,通过向现有句子编码器注入跨度级监督来改进词元表示。在五个多语言词元级基准上,SALT 在其中四个上取得了最佳总体结果,优于其他微调策略和有竞争力的编码器。它还在跨语言检索和分类任务上提升了句子级性能。这些结果表明,跨度级监督是同时改进词元和句子表示的有效信号。
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2609.09953 [cs.CL]
  (或本版本的 arXiv:2609.09953v2 [cs.CL])
  https://doi.org/10.48550/arXiv.2609.09953

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Guillem Ramírez [查看电子邮件]
[v1] 2026年9月9日星期三 09:43:41 UTC(487 KB)
[v2] 2026年11月18日星期三 17:40:23 UTC(2,141 KB)

来源:arXiv cs.AI · arxiv.org