arXiv cs.AI· Wenqi Li, Xiangjue Dong, Sulaiman Vesal·· 13 小时前AI 评分42
音频 LLM 真的能"听见"疼痛吗？HEAR 框架追踪语音声学证据到语言推理
Do Audio LLMs HEAR Pain? Tracing Acoustic Evidence from Speech to Language Reasoning
AI 导读
研究提出 HEAR 四阶段诊断框架，追踪疼痛相关信息从语音信号到模型预测的传递过程，测试了 7 个闭源与开放权重 LALM。在只能靠声音推断疼痛的 Harvard 句子上，所有模型仅达随机水平，同说话人参考或 few-shot 示例提升不超过 6 个点；而在口语评分任务上同样模型达到 87.5-99.7% 平衡准确率。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）可以直接处理语音，但它们利用语音所携带的非词汇声学信息的能力仍不清楚。我们通过疼痛来研究这一问题，使用 TAME-Pain，其中包含疼痛中性的哈佛句子以及在不同自我报告疼痛水平下录制的口头疼痛评分。我们提出 HEAR，一个四阶段诊断框架，从语音信号追踪疼痛相关信息直至模型的预测，并将其应用于七个闭源和开放权重 LALMs。在只能从声音推断疼痛的哈佛句子上，所有模型的表现均处于随机水平，而同说话人参考或少样本示例将平衡准确率提升不超过六个百分点。在口头评分上，相同模型达到 87.5-99.7% 的平衡准确率。对开放权重 LALMs 的逐层探测表明，疼痛可以从早期音频表示中解码（二分类预测的平衡准确率为 74.1%，三分类严重程度的为 45.0%），但这一信息以及大多数与疼痛相关的声学线索在更深的层中减少。在声学感知测试中，较弱的模型甚至无法区分这些线索的大幅变化，而较强的模型可以区分，但仍无法推断疼痛。最后，我们恢复疼痛相关的声学线索，并将其作为结构化文本直接重新注入提示中，这将成对疼痛预测提升了最多 32 个百分点。这些结果表明，当前的 LALMs 在早期层中编码了副语言信息，而当模型生成答案时，这些信息在很大程度上不可用。
| 评论： | 26 页，9 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；声音（cs.SD） |
| 引用为： | arXiv:2610.38570 [cs.CL] |
| （或 arXiv:2610.38570v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38570 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wenqi Li [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 10:05:41 UTC（1,025 KB）
来源：arXiv cs.AI · arxiv.org