arXiv cs.CL· Zhiheng Qian, Junhao Du, Jing Peng, Hanqi Li, Kunyang Peng, Feng Xue, Lu Chen, Shuai Wang, Kai Yu·· 12 小时前AI 评分29
面向多语言 ASR 的语言感知智能体数据采样框架
Agentic Data Sampling Framework for Multilingual ASR via Linguistic-Aware Error-Driven Optimization
AI 导读
研究者提出一种语言感知的智能体数据采样框架，将数据采样 LLM 智能体引入多语言 ASR 训练循环，依据音系、形态、句法三个层面的错误分析评分，结合训练统计、预算约束与算法配置，在领域级、样本级和 token 级选择采样策略。在 12 种 Common Voice 语言上以 Whisper-medium 为 ASR 骨干的实验显示，该方法用更少训练数据和更低算力即超过全量数据训练，并显著加快收敛。
正文 · AI 翻译
摘要：多语言自动语音识别（ASR）借助大规模预训练模型和多语言语音语料库取得了快速进展。已有研究证明数据采样在多语言 ASR 性能中起着关键作用。然而，现有采样策略在很大程度上依赖于耗时的人工、基于启发式的设计。为解决这一问题，我们提出了一种语言感知的智能体数据采样框架，将数据采样 LLM 智能体引入多语言 ASR 训练循环。该智能体由一个具有语言学基础的评分标准驱动，从音系、形态和句法角度分析 ASR 错误，并利用由此产生的反馈以及训练统计信息、预算约束和算法概况，来选择领域级、样本级和 token 级采样策略。这一设计将评估结果转化为自适应数据选择决策，而不是仅将 WER/CER 视为最终终点。我们以 Whisper-medium 作为 ASR 主干，在十二种 Common Voice 语言上进行了实验。结果表明，我们的方法在使用更少训练数据和更低计算资源的情况下取得了优于全数据训练的性能，并且与传统采样策略相比大幅加速了训练收敛。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36538 [cs.CL] |
| （或 arXiv:2610.36538v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36538 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhiheng Qian [查看电子邮件]
[v1]
2026年10月27日星期二 02:49:36 UTC（529 KB）
来源：arXiv cs.CL · arxiv.org