arXiv cs.CL· Fu-An Chao, Bi-Cheng Yan, Berlin Chen·· 6 天前AI 评分22
OpenPA:无需强制对齐的混合转写自适应多粒度发音评估框架
OpenPA: Forced-alignment-free Multi-granular Pronunciation Assessment with Mixed-transcript Adaptation
AI 导读
OpenPA 是一个无需强制对齐的自动发音评估框架,利用 Whisper 的交叉注意力机制同时预测词级和语句级发音分数。它通过混合转写自适应和自适应替换加权,在单一模型中兼容封闭与开放响应场景的异构转写。仅用 speechocean762 训练,OpenPA 在域内封闭及模拟开放响应条件下取得所评估系统中最强整体表现,并在 MultiPA 上保持零样本性能。
正文 · AI 翻译
摘要:自动发音评估(APA)的最新进展推动了从脚本化评估向自由形式评估的转变。然而,现有方法通常依赖带有强制对齐和独立特征提取器的多阶段流水线,限制了其在不同应答场景下的实用性。鉴于此,我们提出 OpenPA,一种新颖的 APA 框架,利用 Whisper 的交叉注意力机制,无需强制对齐即可联合预测词级和话语级发音分数。通过混合转写适配和自适应替换加权,OpenPA 在单一模型中即可适应封闭式和开放式应答场景下的异构转写。仅使用 speechocean762 训练,OpenPA 在域内封闭式和模拟开放式应答条件下,在评估系统中取得了最强的整体性能,同时在 MultiPA 上保持零样本性能。在口腔癌语音上的额外跨任务评估表明,其潜在适用性可超越非母语语音。
| 评论: | 提交至 ICASSP 2027 |
| 主题: | 音频与语音处理(eess.AS);计算与语言(cs.CL);声音(cs.SD);信号处理(eess.SP) |
| 引用为: | arXiv:2610.13826 [eess.AS] |
| (或 arXiv:2610.13826v1 [eess.AS] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.13826 arXiv 颁发的 DOI,通过 DataCite(待注册) |
提交历史
来自:Fu-An Chao [查看电子邮件]
[v1]
2026年10月9日星期五 16:35:25 UTC(1,909 KB)
来源:arXiv cs.CL · arxiv.org