arXiv cs.CL· Abhishek Gautam·· 10 小时前AI 评分31
亚秒级延迟下实时语音 AI 智能体的说话人嵌入模型基准测试
Benchmarking Speaker Embedders in the Sub-Second Regime for Real-Time Voice AI Agents
AI 导读
研究在严格亚秒级延迟预算下基准测试了 TitaNet-Large、TitaNet-Small、ECAPA-TDNN、CAM++ 和 SpeakerNet 五款开源说话人嵌入模型，发现嵌入前先去噪普遍有害并会抬高所有架构的等错误率（EER），截断完整语音活动段以下的音频也会让每个模型性能下降。
正文 · AI 翻译
摘要：实时语音 AI 智能体必须将活跃用户与经过常规噪声抑制后仍可辨识的背景语音区分开来。背景来源包括电视音频、家人和同事。生产环境中的降噪器能有效去除非平稳环境噪声。背景语音与目标语音具有相同的频谱特征，因此会通过降噪，导致下游说话人验证（SV）和自动语音识别（ASR）出现误接受。我们在严格的亚秒级延迟预算下对开源说话人嵌入模型 TitaNet-Large、TitaNet-Small、ECAPA-TDNN、CAM++ 和 SpeakerNet 进行了基准测试。评估结合了受控基准测试与加权人工标注生产数据集。我们的受控基准测试基于真实通话构建，其中第二个真实说话人以调制幅度被注入静音区间。我们报告三项发现。第一，在嵌入之前进行降噪通常有害，并会提高各架构的等错误率（EER）。第二，将音频截断至完整语音活动片段以下会降低所有模型的性能。第三，TitaNet 嵌入中约有一半对于此任务是冗余的。尾部维度编码了语言和性别等群体属性。此类属性在人口统计上同质的用户群中几乎没有区分价值。我们将这些结果提炼为部署指导。验证应在原始音频上使用完整语音活动块运行。阈值应优先考虑精确率而非 F1。截断嵌入可降低相似性搜索的成本。
| 评论： | 13 页，6 幅图，4 张表。已被 AIST 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09516 [cs.CL] |
| （或 arXiv:2611.09516v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09516 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Abhishek Gautam [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 14:29:11 UTC（521 KB）
来源：arXiv cs.CL · arxiv.org