跳到正文
arXiv cs.AI· Jiang Wu, Sichao Wu, Yinsong Ma, Guangyuan Yu, Haoyuan Xu, Lifang Zheng, Jingliang Duan·· 10 小时前AI 评分31

MonitorVLM:面向采矿作业安全违规检测的视觉语言框架

MonitorVLM:A Vision Language Framework for Safety Violation Detection in Mining Operations

AI 导读

MonitorVLM 是一个从监控视频流直接检测安全违规的视觉语言框架,基于 9000 条覆盖 40 项高频采矿规程的 VQA 样本训练。其 clause filter 模块动态选取 Top-K 相关条款,降低推理延迟 13.56%;behavior magnifier 模块强化工人区域,精度和召回率分别再提升 3.45% 和 8.62%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:工业事故,尤其是露天与地下采矿等高风险领域的事故,往往由工人的不安全行为引发。传统人工巡检仍依赖大量人力、易出错,且难以应对大规模动态环境,这凸显了对智能自动化安全监控的迫切需求。本文提出 MonitorVLM,一种新颖的视觉—语言框架,可直接从监控视频流中检测安全违规行为。MonitorVLM 引入三项关键创新:(1)一个领域特定的违规数据集,包含覆盖 40 条高频采矿法规的 9,000 个视觉—问题—答案(VQA)样本,并辅以数据增强和辅助检测线索;(2)一个条款过滤器(CF)模块,动态选择 Top-$K$ 最相关条款,在保持准确率的同时将推理延迟降低 13.56%;以及(3)一个行为放大(BM)模块,增强工人区域以改进细粒度动作识别,额外带来 3.45% 的精确率提升和 8.62% 的召回率提升。实验结果表明,MonitorVLM 显著优于基线视觉—语言模型,相较于 72B 未微调基线,精确率提升 22.01%,召回率提升 34.22\%,F1 分数提升 28.37%。一个轻量级 Web 界面进一步将 MonitorVLM 集成到实际工作流中,实现带视频时间戳的自动违规报告。本研究凸显了多模态大模型在提升采矿及其他领域职业安全监控方面的潜力。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2510.03666 [cs.CV]
  (或 arXiv:2510.03666v3 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2510.03666

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jiang Wu [查看邮箱]
[v1] 2025年10月4日 星期六 04:46:21 UTC(2,483 KB)
[v2] 2026年3月11日 星期三 12:33:18 UTC(2,489 KB)
[v3] 2026年11月18日 星期三 01:33:40 UTC(7,324 KB)

来源:arXiv cs.AI · arxiv.org