arXiv cs.CL· Sankalp Vaish, Rishank Singh, Sumukh Veeramalla, Caroline Summerour, John A. Batsis, Xiaohui Liang·· 2 天前AI 评分25
基于 Amazon Alexa 的任务中心多模态学习用于认知障碍检测
Task-Centric Multimodal Learning for Cognitive Impairment Detection
AI 导读
一项被 GLOBECOM 2026 接收的研究提出无接触多模态筛查框架，利用 Amazon Alexa 结构化语音交互中采集的视频、音频和文本信号检测认知衰退。
正文 · AI 翻译
摘要：痴呆症影响着全球数百万老年人，但在临床环境之外，早期检测仍然困难。传统模型主要依赖文本或语音响应，尽管人类表达本质上是多模态的，却只能捕捉到人类认知的有限视角。本工作提出了一种非接触式多模态筛查框架，利用在与 Amazon Alexa 进行结构化语音交互期间收集的视频、音频和文本信号。通过纳入这些模态，我们的方法捕捉了更全面的人类行为表征，涵盖语音模式、声音特征、面部表情和语言结构，这可能有助于更准确地检测认知衰退。不同参与者完成了三项旨在考察即兴言语、理解和回忆的对话任务。我们追求三个目标：(1) 评估三项 Alexa 任务中哪一项提供最具信息量的认知信号，(2) 比较单模态模型的有效性，(3) 评估多模态融合模型的益处。任务级分析表明，视频模型在 Command-Reading 上取得最佳性能，准确率为 0.65（AUC 0.69），而音频模型在 Question-Answering 上表现最佳，准确率达到 0.67（AUC 0.73）。相比之下，多模态模型在各任务上表现出持续稳定的性能，在 Command-Reading 上准确率为 0.76（AUC 0.75），在 Question-Answering 上为 0.76（AUC 0.73）。这些发现表明，通过自然交互捕捉的多模态行为线索能够可靠地区分 MCI 与健康老龄化，凸显了传统诊断范式的局限性，并支持向多模态、真实世界认知评估框架的转变。
| 评论： | 已被 2026 IEEE 全球通信大会（GLOBECOM）接收发表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20906 [cs.LG] |
| （或 arXiv:2610.20906v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20906 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sankalp Vaish [查看电子邮件]
[v1]
2026年10月14日星期三 20:34:38 UTC（757 KB）
来源：arXiv cs.CL · arxiv.org