arXiv cs.AI· Yu Pan, Tianjiao Zhang, Yang Hou, Xiongfei Wu, Liang Zhang, Yves Le Traon, Lei Ma, Jianjun Zhao·· 3 天前AI 评分22
TypoCast：用类型学条件替代语言标签的多语言语音翻译前端
Conditioned in Training, Dispensable at Inference: Typological Conditioning for Multilingual Speech Translation
AI 导读
TypoCast 是一个以源语言类型学特征（形态类型、语序、语系）为条件的多语言语音翻译前端，而非仅依赖语言标签。在 CVSS-C 上，它以仅 228M 可训练参数在法语、德语、西班牙语到英语三个方向上平均超越 SOTA 语音到语音翻译系统，并在七语言测试中每个语言都优于身份条件的 S2ST-Omni。
正文 · AI 翻译
摘要：基于语音大语言模型构建的多语言语音翻译前端通常以语言身份为条件，即学习到的嵌入或提示中的语言名称。然而，这种信号是针对每种语言单独学习的，在类型学上相关的语言之间不会传递任何信息。在本文中，我们提出了 TypoCast，一个以源语言的类型学特征而非仅其标签为条件的前端。一种类型学信息驱动的分层语言编码通过形态类型、成分顺序和语系来表示每种语言，从而使监督信号在相关语言之间共享。一条双路径混合专家适配器将输入通过共享的类型学路径与每种语言的残差一起路由，而一个类型学感知的提示将相同的特征传递给解码器。在 CVSS-C 上的大量实验表明，TypoCast 在法语、德语和西班牙语到英语的翻译上，三个方向的平均值超过了最先进的语音到语音翻译系统，并且在七种语言清单中的每一种语言上都优于以身份为条件的 S2ST-Omni，而可训练参数仅为 228M。消融研究进一步揭示，该条件信号在训练期间起作用，而在推理时可有可无：在没有该信号的情况下训练的模型始终更差，而从已训练的模型中移除它会使 BLEU 变化小于 0.2，并且专家使用情况与该信号塑造适配器容量在语言之间分配的方式一致。
| 评论： | 16 页，正在进行中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.16026 [cs.CL] |
| （或 arXiv:2605.16026v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.16026 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yu Pan [查看电子邮件]
[v1]
2026年5月15日星期五 15:01:45 UTC（351 KB）
[v2]
2026年10月11日星期日 15:59:33 UTC（510 KB）
来源：arXiv cs.AI · arxiv.org