社区实测面壁 MiniCPM-V 4.7 35B-A3B：iPhone 17 Pro Max 上 13+ tokens/s 端侧多模态推理

花了一些时间试用 MiniCPM-V4.7 35B-A3B，并构建了这个新粗野主义作品集 UI，采用大胆的色彩、厚重的布局和略显另类的视觉风格。 让这个实验有趣的是它背后的模型。OpenBMB 的 MiniCPM-V 4.7 正推动多模态 AI 走向在日常硬件上更实用的部署。 MiniCPM-V 4.7 35B-A3B 总参数 35B，但每次仅激活 3B，在 iPad Pro M4（16GB）上可达 17+ tokens/s，在 iPhone 17 Pro Max 上可达 13+ tokens/s，其优化后的移动端设置仅占用约 3GB 内存。🤯 还有一个紧凑的 1B 版本，专为 OCR、图表、数学和通用理解等任务设计。两个版本均支持 256K 上下文窗口，模型权重、推理代码和微调代码均已开源。 对我来说，多模态 AI 的有趣之处在于它处理文本之外视觉信息的潜力，以及通过高效、灵活的部署让这些能力更易获取。 探索来自 @OpenBMB 的 MiniCPM-V 4.7： GitHub：http://github.com/OpenBMB/MiniCPM-V Hugging Face：http://huggingface.co/collections/openbmb/minicpm-v-47