arXiv cs.AI· Mingyue Huo, Shivam Mehta, Bhavin Jawade, Yinghong Lan, Haoqi Li·· 11 小时前AI 评分31
SpeechCritic：仅用约 300 条人类偏好标注学习诊断式语音评判模型
SpeechCritic: Learning a Diagnostic Speech Judge from Limited Human Preferences
AI 导读
SpeechCritic 提出一种参考条件化的跨语言诊断式语音评判方法，仅用约 300 条人类标注对比数据校准前沿音频语言模型，使其在判断两个候选语音优劣的同时指出音色、情感、时序等维度的差异及可听线索。
正文 · AI 翻译
摘要：人类语音传递了丰富的感知信息，例如情感和说话人身份，然而大多数自动语音质量评判器却将其简化为一个自然度分数。我们研究诊断式语音评判器：给定两个候选样本，诊断式评判器决定哪一个更好、它们在哪些感知维度（例如音色、情感、时序）上存在差异，以及哪些可听线索支持其判断。学习这样的评判器具有挑战性：专家标注成本高昂，而简单地提示前沿音频语言模型来生成标签并不可靠：我们的探测揭示了大量错误和不稳定的指令遵循。我们提出 SpeechCritic，它仅从约 300 个人工标注的对比中，在参考条件化的跨语言设置下学习一个诊断式评判器。SpeechCritic 并非取代前沿模型，而是用这些标签对其进行校准：对于每个维度，它选择与人类判断一致的声学测量，将其映射为 A/Tie/B 概率，并将这些作为非约束性提示与音频一起传递给模型。与同一模型在没有提示的情况下标注相比，这将与人类的维度级一致性提高了 6.3 个百分点，并将与人类 Tie 率的不匹配降低了 10.4 个百分点。然后，我们在此监督下训练了一个 7B 评判器，并发现不同的训练信号塑造了不同的评判器行为：SFT 建立了任务，OPD 迁移了教师的维度级优势和劣势，而 RL 在人类评分者意见一致的明确对比上帮助最大。值得注意的是，人类听众还发现，RL 使理由引用更具体、更局部的声学线索，尽管它从未直接奖励理由文本。最后，我们通过在英语-日语和英语-西班牙语上实例化该流程，表明该流程与语言对无关。总之，这些结果展示了一条从有限的人类偏好走向诊断式语音评判器的路径。
| 评论： | v2：更新代码网址 |
| 主题： | 人工智能（cs.AI）；声音（cs.SD） |
| 引用为： | arXiv:2609.34582 [cs.AI] |
| （或此版本的 arXiv:2609.34582v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.34582 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mingyue Huo [查看电子邮件]
[v1]
2026年9月28日星期一 08:24:45 UTC（1,694 KB）
[v2]
2026年10月16日星期五 01:17:16 UTC（1,694 KB）
来源：arXiv cs.AI · arxiv.org