arXiv cs.AI· Annika Michael, Zachary Ellis, Yuxiang Zhou, Samuel Thio, Yajie Vera He, Spencer Hazel, Jared Joselowitz·· 4 小时前AI 评分31
语音到底重不重要?在已部署临床语音智能体通话上评估患者挫败感检测
Does the Voice Matter? Evaluating Frustration Detection on Deployed Clinical Voice-Agent Calls
AI 导读
针对已部署临床语音智能体的真实患者通话,研究发现仅靠语音转写文本无法在单词话轮上排除患者挫败感——在 30 通电话的 39 个挫败性单词话轮中,纯文本只识别出 3 或 4 个,仅凭词数的分类器准确率达 57.3%。
正文 · AI 翻译
摘要:自主语音代理如今会进行常规的临床随访电话,因此某种程度的自动分诊不可避免。患者变得沮丧是分诊应当捕捉到的情况之一。这些系统通常只读取语音转文字阶段生成的转录文本,而不读取语音本身,而这是否足够在真实临床语音上基本未经检验。我们研究在来自已部署临床语音代理的真实患者通话中逐轮检测沮丧情绪:来自六次通话的 150 个轮次由三名标注者标注,并以长度匹配的表演语料作为对照,另有来自 30 次通话的 714 个轮次。患者轮次绝大多数都很短:在已部署的通话中,约 59% 是一到两个词,而在完整的表演语料中这一比例为 13%,并且即使在表演集经过长度匹配之后,语料准确率差距仍然存在。在单词轮次上,仅凭转录文本的检测无法排除偶然。在五个具备音频能力的语言模型中,转录文本在 30 次通话的 39 个沮丧单词轮次中标记出 3 或 4 个,而仅给定词数的分类器达到 57.3%。音频是否有帮助取决于模型和指令。在被要求关注表达方式时,两个 Gemini 2.5 模型在 30 次通话中比转录文本提升 3.0 个百分点(-1.0 至 7.5 个百分点)。在它们自信地判定为无沮丧的轮次中,音频实际有 6.9% 是沮丧的,而转录文本为 13.0%,相差 6.1 个百分点(2.2 至 10.4 个百分点)。在 30 次通话中,给定对两种输入完全相同的提示词,没有任何模型的音频-文本区间排除零。在针对特定输入的提示词下,一个较新的 Gemini 模型和两个较小的开源模型使用音频比使用转录文本表现更差(-3.5、-8.6 和 -10.6 个百分点)。在临床通话上训练的 WavLM 探针总体与最佳提示模型持平(71.6%),但在新增的 24 次通话中漏掉了每一个沮丧的单词轮次。当患者的轮次很短时,仅凭转录文本不足以排除沮丧。
| 评论: | ML4H 2026(Proceedings)和 NeurIPS 2026 的 GenAI4H 研讨会上被接收论文的扩展版本 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.21001 [cs.CL] |
| (或此版本的 arXiv:2611.21001v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2611.21001 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Annika Michael Ms [查看电子邮件]
[v1]
2026 年 11 月 16 日星期一 12:27:56 UTC(1,879 KB)
[v2]
2026 年 11 月 17 日星期二 12:06:20 UTC(1,879 KB)
来源:arXiv cs.AI · arxiv.org