arXiv cs.AI· Enshuo Hsu, Linh Nguyen, Sunyang Fu, Heath Goodrum, Sandra Stansberry, Kirk Roberts, Hongfang Liu, Yen-Chi L. Le·· 4 小时前AI 评分34
基于多模态大语言模型的扫描版认知与行为评估表视觉信息抽取系统
A Visual Information Extraction System Using Multimodal Large Language Models for Scanned Cognitive and Behavioral Assessments
AI 导读
研究提出一套模块化多模态 LLM 系统,用表单分类器加对应分数抽取器处理 MMSE、MoCA、Mini-Cog 及 NICHQ Vanderbilt 扫描评估表,认知评估端到端准确率 88%,NICHQ Vanderbilt 达 97.5%。
正文 · AI 翻译
摘要:目的。基于纸质的评估在患者护理中很常见,但手写和扫描伪影使得这些表格难以大规模处理。本研究提出了一种模块化、基于多模态 LLM 的系统,并配有人员监督,用于提取字段和评分。我们对使用 LLM 进行手绘分析进行了定性分析。
材料与方法。该系统使用两个模块处理认知评估(即 MMSE、MoCA、Mini-Cog)和 NICHQ Vanderbilt 评估:1)表单分类器,将扫描页面分配给表单类型,随后是相应的 2)评分提取器,将字段和评分提取到模式中。采用双模型验证的人在回路设计,当两个 LLM 不一致时引入人工标注员,从而仅将人工审核限制在具有挑战性的页面上。
结果。认知评估的端到端准确率为 88%,大多数表单类型超过 90%。对于 NICHQ Vanderbilt,总体准确率达到 97.5%,所有表单类型均高于 96%。人在回路设计进一步将认知评估准确率提高到 97.5%,同时将人工工作量减少了 63.8%。在 Mini-Cog 时钟绘制任务中,定性分析显示,所有提取错误中有 62.3% 源于绘图歧义,在这些情况下 LLM 提供了合理的解读。
讨论。与当前的人工数据提取相比,我们基于 LLM 的系统将处理时间减少了 10 到 20 倍,成本降低了 12 倍以上。模块化设计允许无缝扩展到其他表单类型。
结论。我们的系统为结构化处理困在手写纸质表单中的数据提供了一种准确、可扩展且具有成本效益的解决方案,用于临床决策支持。
| 主题: | 人工智能 (cs.AI) |
| 引用为: | arXiv:2611.22252 [cs.AI] |
| (或 arXiv:2611.22252v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22252 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Enshuo Hsu [查看电子邮件]
[v1]
2026年11月17日星期二 05:56:48 UTC(2,200 KB)
来源:arXiv cs.AI · arxiv.org