arXiv cs.AI· Zane Durante, Paul Tang, Keshigeyan Chandrasegaran, Amit Kaushal, Shrinidhi Kowshika Lakshmikanth, Feolu Kolawole, Yu Jun Zheng, Yifan Geng, Shobhit Agarwal, Kevin Schulman, Juan Carlos Niebles, Ehsan Adeli, Arnold Milstein, Li Fei-Fei·· 2 天前AI 评分40
TRACER：面向医院患者护理的多模态框架
TRACER: A Multimodal Harness for Patient Care in Hospitals
AI 导读
斯坦福团队提出免训练多模态框架 TRACER，将视频逐分钟动作记录与临床记录合并为小时级报告，并让 LLM 智能体通过工具查询该层级结构、调取相关视频与病历。在 397 段标注视频上动作检测准确率达 84.8%，144 道临床多选题 QA 准确率 61.0%，优于同骨干最强基线的 49.3%。
正文 · AI 翻译
作者：Zane Durante、Paul Tang、Keshigeyan Chandrasegaran、Amit Kaushal、Shrinidhi Kowshika Lakshmikanth、Feolu Kolawole、Yu Jun Zheng、Yifan Geng、Shobhit Agarwal、Kevin Schulman、Juan Carlos Niebles、Ehsan Adeli、Arnold Milstein、Li Fei-Fei
摘要：连续视频与临床记录为理解患者行为在住院期间如何演变提供了互补信息。一个核心挑战是如何在保留对细粒度视觉与临床证据访问的同时，表征整个住院期间的行为。我们提出 TRACER，一种免训练的多模态框架，它从视频中构建分钟级动作记录，并将其与临床记录结合为小时级报告。该框架为 LLM 智能体配备工具，以查询这一层级结构、检查相关视频并检索临床记录。为评估 TRACER，我们构建了两个基准。第一个包含 397 个标注的一分钟片段，涵盖 15 种原子动作；第二个提出 144 个由临床医生参与设计的多选题，基于两名 ICU 患者 264 小时的视频与临床记录。TRACER 在动作检测上达到最高 84.8% 的准确率，在问答上达到 61.0% 的准确率，而使用相同主干网络的最强基线为 49.3%。在约 60,000 摄像头小时、涵盖 280 名患者的数据中，TRACER 发现住院期间谵妄评估为阳性的患者，其有目的性活动显著少于未出现谵妄的患者（p < 0.0001）。我们的结果表明，将连续视频与临床记录相结合，可以在不基于受保护健康数据训练的情况下，支持对患者随时间及跨患者群体行为的理解。
| Comments: | 37 页，4 幅图。代码：this https URL |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21266 [cs.CV] |
| （或 arXiv:2610.21266v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21266 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zane Durante [查看邮箱]
[v1]
2026年10月15日星期四 05:00:47 UTC（4,220 KB）
来源：arXiv cs.AI · arxiv.org