arXiv cs.CL· Mengzhe Geng·· 10 天前AI 评分23
生成式音频调用对已知任务 audio-LLM 评测的增量价值审计
Auditing generative audio calls for known-task audio-llm evaluation
AI 导读
研究提出用匹配选择器估计生成式音频调用的增量价值，在 VocalSound 上，仅转录准确率为 0.296，监督 CLAP 和 WavLM 对照分别达 0.850 和 0.854，无需调用生成模型。
正文 · AI 翻译
摘要：语音和音频 LLM 的评估方式是将波形预测与自动语音识别（ASR）转录文本的预测进行比较。对于固定的闭集任务，这会将声学证据与调用生成式音频模型的需求混为一谈。我们使用共享调用前证据的匹配选择器来估计增量调用价值。每种策略可以保留转录标签、使用本地编码器或调用生成模型；匹配对照移除了生成式动作，但保留了调用前证据和开发选择。在 VocalSound 上，仅转录的准确率为 0.296，而监督式 CLAP 和 WavLM 对照在不调用的情况下分别达到 0.850 和 0.854。完整选择器在 12.5% 调用率下达到 0.925，而匹配的无调用选择器为 0.921（差异 0.004；95% CI [-0.025, 0.033]）。因此，在转录和编码器证据可用后，结果并未显示调用增益。相关量是允许调用带来的增量准确率，而非波形-转录差距。
| 学科： | 声音（cs.SD）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2608.27817 [cs.SD] |
| （或 arXiv:2608.27817v4 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.27817 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Mengzhe Geng [查看电子邮件]
[v1]
2026 年 8 月 28 日星期五 01:33:47 UTC（18 KB）
[v2]
2026 年 8 月 31 日星期一 19:27:04 UTC（18 KB）
[v3]
2026 年 9 月 12 日星期六 22:36:51 UTC（36 KB）
[v4]
2026 年 10 月 7 日星期三 11:58:34 UTC（49 KB）
来源：arXiv cs.CL · arxiv.org