arXiv cs.CL· Arya Bastani, Iman Modarressi·· 6 天前AI 评分36
语音模型对话自然度评测：GPT Realtime、Gemini 3.1 Flash Live、Grok Voice 与 PersonaPlex、Moshi 在 427 个停顿点的表现
People Making Conversation: Evaluating How Naturally Speech Models Converse
AI 导读
研究团队将 GPT Realtime、Gemini 3.1 Flash Live、Grok Voice 等六款实时语音系统置于 176 段无脚本对话的 427 个停顿点和 482 个话轮结束处，评估其"是否开口、何时开口"的对话决策。
正文 · AI 翻译
摘要：对话语音模型必须在每个停顿处决定是否开口。现有评估测试的是边界检测、策略遵循或总体统计，而非这一决策。我们将实时语音系统置于 Seamless Interaction 中 176 段无脚本对话的 427 个停顿和 482 个话轮结束处，向每个系统提供此前的对话内容，并将其生成的内容与人的实际行为进行评分对比：在停顿处是否开口以及多快开口；在话轮结束处的延迟、长度和措辞；以及它能否回答关于前 30 至 120 秒的问题。在六个系统中，托管 API（GPT Realtime、Gemini 3.1 Flash Live、Grok Voice）无论使用哪种端点检测器，几乎在每个停顿处都会回应；只有它们的延迟——使用基于静音的端点检测器时约 1 至 4 秒，使用语义话轮检测时约 8 秒——决定了话语是否落在停顿之内。全双工模型（PersonaPlex、Moshi）是唯一经常保持沉默的系统，也是唯一能在人类反应时间内打断的系统。托管系统的回复比人更长。在将历史记录作为文本提供时，托管系统在 Claude Opus 5.5 评判下能回忆起 41% 至 60% 的对话事实，在严格词匹配器下为 19% 至 26%；在将历史记录作为音频听取时，全双工模型能回忆起 17% 至 22% 和 12% 至 15%。我们发布了标签、数据点、测试框架以及所有输出。
| Comments: | 已被 NeurIPS 2026 实时对话智能体研讨会接收 |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12802 [cs.CL] |
| （或 arXiv:2610.12802v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12802 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Iman Modarressi [查看电子邮件]
[v1]
2026年10月8日星期四 23:18:20 UTC（1,772 KB）
来源：arXiv cs.CL · arxiv.org