面壁智能展示社区项目 esp32-eye:用 MiniCPM-V 4.7 双模型方案识别猫咪饮水
面壁智能展示用 MiniCPM-V 识别猫咪饮水
面壁智能展示开源社区项目 esp32-eye,用 MiniCPM-V 4.7 双模型方案识别并记录多只猫的饮水事件。ESP32-S3 摄像头将画面传到 MacBook,MiniCPM-V 4.7 1B 本地负责检测画面中是否有猫并过滤帧,MiniCPM-V 4.7 35B-A3B 再比对参考照片确认身份。四猫家庭三天内人工核对 89 次饮水事件,猫身份全部识别正确。
OpenBMB· @OpenBMB · X·2026-11-05 21:30· 36 分钟前AI 评分43
AI 导读
面壁智能展示社区项目 esp32-eye:用 MiniCPM-V 4.7 双模型方案识别并记录多只猫的饮水事件。ESP32-S3 摄像头将画面传到 MacBook,MiniCPM-V 4.7 1B 本地负责检测画面中是否有猫并过滤帧,MiniCPM-V 4.7 35B-A3B 再比对参考照片确认身份。四猫家庭三天内人工核对 89 次饮水事件,猫身份全部识别正确。
正文 · 原文
🐱 谁在水碗边喝水?MiniCPM-V 帮你记录。
我们的社区大使 @emwstudio 打造了 esp32-eye,这是一款开源监测器,可识别每只猫并记录它们的每日饮水事件,使用了 MiniCPM-V 4.7、两块 ESP32-S3 开发板和一台 MacBook。💧
从摄像头画面到每日计数,工作原理如下:
📷 采集:ESP32-S3 摄像头将水碗旁的视频流传输到 MacBook。
⚡ 检测:MiniCPM-V 4.7 1B 在 MacBook 本地运行,检查画面中是否有猫,在调用更大模型前过滤帧。
🔍 识别:MiniCPM-V 4.7 35B-A3B 检查场景并比对参考照片以识别猫的身份。
📊 追踪:另一块 ESP32-S3 AMOLED 显示屏显示实时视频和每只猫的每日计数。系统还会保存带音频的事件片段。
🐾 在一个养有四只猫的家庭环境中,@emwstudio 报告称三天内人工核对了 89 次饮水事件,所有猫的身份均被正确识别。
这是互补模型协同工作的一个实用示例:智能模型负责高频检测,更大的模型负责身份确认。
我们很高兴看到社区将 MiniCPM 的视觉理解能力转化为日常生活中的创意工具。你会打造什么?💙
🎬 在 Instagram 观看 @emwstudio 的演示:
http://instagram.com/reel/De9kUrooQlR
🛠️ 探索 @emwstudio 的项目:
http://github.com/emwstudio/esp32-eye
🚀 使用 MiniCPM-V 构建:
GitHub:http://github.com/OpenBMB/MiniCPM-V
🤗 Hugging Face:http://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B
#MiniCPM #OpenBMB #ESP32 #OpenSource
来源:OpenBMB · x.com
来源:RadarAI · aihot.news