arXiv cs.CL· Wei Chu, Yuanzhe Dong, Ke Tan, Dong Han, Yichao Zhou, Ruchao Fan, Bingshen Mu, Jingbei Li, Vishwas Shetty, Sarthak Bisht, Ziyue Qiu, Massa Baali, Rita Singh, Bhisha Raj·· 9 天前AI 评分24
FA-Bench：面向强制对齐与 ASR 的干净及噪声语音音素级与词级时间戳准确率基准
FA-Bench: A Benchmark for Phone- and Word-Level Timestamp Accuracy in Forced Alignment and ASR on Clean and Noisy Speech
AI 导读
FA-Bench 是一个统一评测强制对齐与 ASR 时间戳准确率的开放框架，固定了文本归一化、数据划分、音素映射与评分脚本，在干净及四种退化语音上覆盖 21 个开源模型和 9 个商业 API。它采用基于容差的 F1 作为主指标，消除了标准 MAE 在对话语音中造成的 9% 至 14% 分数虚高，并发现 Whisper 时间戳平均偏早约 150 ms，多个商业 ASR API 偏晚超过 50 ms。
正文 · AI 翻译
作者：Wei Chu、Yuanzhe Dong、Ke Tan、Dong Han、Yichao Zhou、Ruchao Fan、Bingshen Mu、Jingbei Li、Vishwas Shetty、Sarthak Bisht、Ziyue Qiu、Massa Baali、Rita Singh、Bhisha Raj
摘要：强制对齐根据语音的转写文本估计其中每个词、音素或字符的时间戳。已发表的比较对转写文本进行归一化、划分数据以及匹配边界的方式各不相同，因此它们的数值无法放在一起解读。我们提出 FA-Bench，这是一个开放框架，将这些选择一次性固定下来，并发布代码、数据划分、音素映射、文本归一化和评分脚本，结果定期发布。Track 1 为每个对齐器提供参考转写文本，Track 2 为其提供识别器的输出，二者使用相同的音频，并以四种方式提供干净和退化的版本，在统一协议下涵盖 21 个开源模型和 9 个商业 API。我们对一句话的每个边界进行评分，并检查其两侧的两个标签，因此识别器漏掉或凭空生成的词都会被计入。使用基于容差的 F1 作为我们的主要指标，消除了标准 MAE 在会话语音中对依赖识别的系统造成的 9% 到 14% 的分数虚高。随后我们按位置以及相邻词被正确识别的数量对边界进行分组，从而显示系统在何处失分。我们发现当前系统在为词标注时间时存在系统性偏差，Whisper 约提前 150 ms，而若干商业 ASR API 则延迟超过 50 ms。代码和结果见 此 https URL
| 主题： | 计算与语言（cs.CL）；性能（cs.PF） |
| 引用为： | arXiv:2609.32396 [cs.CL] |
| （或 arXiv:2609.32396v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2609.32396 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Wei Chu [查看电子邮件]
[v1]
2026年9月26日星期六 09:16:06 UTC（23 KB）
[v2]
2026年10月8日星期四 17:57:56 UTC（23 KB）
来源：arXiv cs.CL · arxiv.org