arXiv cs.CL· Yixian Tan, Aulia Adila, Jonathan Heng, Kunat Pipatanakul, Donghang Wu, Anocha Sutaveephamochanon·· 3 天前AI 评分29
SEA-HELM Audio：评估多语言 ASR-LLM 流水线在 SEA-HELM 各子集上的表现
SEA-HELM Audio: Evaluating Multilingual ASR-LLM Pipeline Performance Across SEA-HELM Subsets
AI 导读
SEA-HELM Audio 将文本版 SEA-HELM 基准扩展到语音领域，用合成语音对比中文、英语、马来语、印尼语和泰米尔语五种语言在 ASR-LLM 级联流水线中的语音与文本输入表现。结果显示语音输入带来显著性能下降：多项选择推理准确率下降 9.00 至 18.50 个百分点，指令遵循下降 20.00 至 42.86 个百分点，泰米尔语降幅最大，超过 40 个百分点。
正文 · AI 翻译
摘要：我们提出 SEA-HELM Audio，一个东南亚（SEA）多语言评估框架，它将基于文本的 SEA-HELM 基准扩展至评估级联自动语音识别与大语言模型（ASR-LLM）流水线中的性能退化。使用合成语音，我们在多项选择推理和指令遵循任务上比较了五种语言（中文、英语、马来语、印尼语和泰米尔语）的语音输入与文本输入性能。我们使用相同的验证器评估开放权重和商业 ASR-LLM 系统，并将语音差距量化为文本准确率与语音准确率之差。结果显示性能显著退化，多项选择推理的准确率下降 9.00 至 18.50 个百分点，指令遵循下降 20.00 至 42.86 个百分点。泰米尔语退化最大，超过 40 个百分点。我们的发现凸显了仅文本基准在预测语音代理可靠性方面的局限性，并展示了 SEA-HELM Audio 在评估多语言语音代理系统方面的价值。
| 学科： | 声音（cs.SD）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19869 [cs.SD] |
| （或 arXiv:2610.19869v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19869 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anocha Sutaveephamochanon 博士 [查看电子邮件]
[v1]
2026年10月14日星期三 09:29:36 UTC（39 KB）
来源：arXiv cs.CL · arxiv.org