arXiv cs.AI· Guillem Ram\'irez·· 10 小时前AI 评分26
SALT:用片段级监督改进跨语言 Token 表示
Improving Cross-Lingual Token Representations by Adding a Pinch of SALT
AI 导读
研究者提出轻量级后训练方法 SALT,通过向现有句子编码器注入片段级监督来改进 Token 表示。在五个多语言 Token 级基准上,SALT 在其中四个取得最佳整体结果,优于其他微调策略和竞争编码器。该方法还提升了跨语言检索与分类的句子级表现,说明片段级监督能同时改善 Token 与句子表示。
正文 · AI 翻译
摘要:跨语言句子编码器能够实现数百种语言之间的可扩展迁移,为翻译挖掘和低资源场景下的零样本学习等应用提供支持。尽管这类编码器是针对句子级对齐训练的,但它们越来越多地被应用于幻觉检测和序列标注等词元级任务,暴露出训练与使用之间的不匹配。我们提出 SALT,这是一种轻量级的后训练方法,通过向现有句子编码器注入跨度级监督来改进词元表示。在五个多语言词元级基准上,SALT 在其中四个上取得了最佳总体结果,优于其他微调策略和有竞争力的编码器。它还在跨语言检索和分类任务上提升了句子级性能。这些结果表明,跨度级监督是同时改进词元和句子表示的有效信号。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2609.09953 [cs.CL] |
| (或本版本的 arXiv:2609.09953v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2609.09953 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Guillem Ramírez [查看电子邮件]
[v1]
2026年9月9日星期三 09:43:41 UTC(487 KB)
[v2]
2026年11月18日星期三 17:40:23 UTC(2,141 KB)
来源:arXiv cs.AI · arxiv.org