arXiv cs.AI· Marcos Junca (Senecta Inc.), Mauro Junca (Senecta Inc.)·· 12 小时前AI 评分47
Gemini 3.8 Flash 零样本筛查低分辨率热成像视频中的跌倒
Asking a Multimodal LLM Whether Someone Fell: Zero-Shot Screening of Low-Resolution Thermal Video in a Laboratory and an Occupied Home
AI 导读
Gemini 3.8 Flash 在 temperature 0 下作为事件触发式跌倒筛查器的决策环节，对 32x24 公开热成像数据集中 438 次摆拍跌倒和 563 个非跌倒窗口，识别出留出受试者 69% 的跌倒且对 499 个非跌倒窗口零误报。
正文 · AI 翻译
摘要：热成像摄像头可以在不拍摄面部的情况下看护独居老人，而多模态大语言模型（LLM）无需针对特定任务进行训练即可判断一段短视频。我们评估了一个生产环境中的多模态 LLM——温度为 0 的 Gemini 3.8 Flash，作为事件触发式跌倒筛查器的决策阶段，其使用方式与部署原型完全一致：每个短热成像片段发送一次请求，若片段有音轨则一并发送，并在相同请求上评估其前代 Gemini 3.7 Flash。在一个公开的 32x24 热成像数据集中，我们手工定位了 438 次摆拍跌倒和 563 个非跌倒窗口；在留出受试者上，部署请求识别出了 69% 的跌倒（所有受试者为 67%；不含床上跌倒），并且对 499 个非跌倒窗口无一误报，其中包括有人躺在地板上和起身的情况。在一个有人的房间里，以 160x120 分辨率带声音录制了超过 76 小时的日常生活，它没有将 395 个片段中的任何一个判定为跌倒（95% 置信上限为每天 1.2 次误报），并捕捉到了摄像头可见的 9 次摆拍跌倒中的 4 次。提示词中一句警示性的话（“离开视野的人……不算跌倒”）是许多漏报的原因：移除这句话后，留出受试者上的灵敏度在 3.8 Flash 上从 69% 提升到 83%，在 Gemini 3.7 Flash 上从 80% 提升到 92%，在家庭场景中从 9 次可见跌倒中检出 4 次提升到 9 次全部检出，日常生活场景中没有误报，但代价是将故意的躺下判定为跌倒。在 8x6 像素下灵敏度骤降至 34%；相同请求在 4% 的窗口上出现分歧；当模型判定为跌倒时，其解释在 99% 的情况下与标注的落地时刻相差不到一秒。两个在实验室数据上训练的常规检测器几乎捕捉到了所有留出实验室跌倒，但在家庭场景中分别产生了每天 14.2 和 23.9 次误报。我们发布了该公开数据集的帧级跌倒标注以及其上的所有模型回答。
| 评论： | 13 页，6 幅图。数据：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29913 [cs.CV] |
| （或 arXiv:2610.29913v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29913 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marcos Junca 先生 [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 15:53:17 UTC（154 KB）
来源：arXiv cs.AI · arxiv.org