OpenBMB 发布 MiniCPM-V 4.7，35B-A3B MoE 多模态模型在手机上仅占 3GB 内存
OpenBMB 发布 MiniCPM-V 4.7，为 35B-A3B 开源 MoE 多模态模型，在 iPhone 17 Pro Max 上仅占 3GB 内存，解码速度 13+ tokens/s，模型已在 Hugging Face 和 GitHub 开放。
meng shao· @shao__meng · X·2026-10-14 10:48· 2 小时前AI 评分65
AI 导读
OpenBMB 发布 MiniCPM-V 4.7，为 35B-A3B 开源 MoE 多模态模型，在 iPhone 17 Pro Max 上仅占 3GB 内存，解码速度 13+ tokens/s。
正文
OpenBMB 发布 MiniCPM-V 4.7
首个能在手机本地流畅运行、且不牺牲性能的开源 MoE 多模态模型，35B-A3B 参数，在 iPhone 17 Pro Max 上仅占 3 GB 内存，解码速度 13+ tokens/s
https://huggingface.co/collections/openbmb/minicpm-v-47
两项关键技术需要关注
1. LES（前瞻专家调度），让 35B 模型装进 3GB 内存
这是最核心的工程突破。原理并不神秘：MoE 模型的专家权重不必全部驻留内存，可以放在闪存里按需加载，但随机加载会造成明显卡顿。LES 通过跨层路由预测（预判下一层会用到哪些专家并提前加载，同时优先计算已在内存中的专家）把加载停顿大幅压低，配合量化和存储布局优化，在真实设备上取得约 5 倍加速。这本质上是把瓶颈从“内存容量”转移到了“闪存带宽 + 预测命中率”，属于系统层面的创新而非模型结构创新。
2. SRFT（自回放微调），解决定制化时的灾难性遗忘
面向开发者的微调方案，思路相当优雅：微调窄任务前，先让模型自己为一批覆盖原有能力的通用 prompt 生成回答，经拒绝采样筛选后，以 Task:Replay = 4:1 混入任务数据做普通 SFT。训练流程完全不变，只改数据。关键洞察在于标签必须 on-policy（来自模型自身的分布）；消融实验显示，同样的数据量，自生成标签把通用能力退化压到 1.58 分，外部标签只能压到 5.58。跨四个模型验证，遗忘降低 80%–99%，任务性能基本无损。
🎬 35B MoE 多模态 AI。在你的手机上。仅需 3GB 内存。🤯 这就是 MiniCPM-V 4.7 的实际表现：读取现实世界的标识、围绕约束进行规划、解析复杂文档，并对视觉数据进行推理。 由 LES（前瞻专家调度）驱动，35B-A3B 模型将高效的 MoE 推理带到移动设备，而轻量级 1B 版本则在资源受限的硬件上提供强大的多模态理解能力。 🛠️ 借助自回放微调（SRFT），开发者可以针对新任务定制模型，同时保持通用性能。 从 iOS 到 Android，MiniCPM-V 4.7 让强大的多模态 AI 在本地运行更加实用。 试试看 👇 🔗 http://github.com/OpenBMB/MiniCPM-V 🤗 http://huggingface.co/collections/openbmb/minicpm-v-47 Self-Replay Fine-Tuning: http://openbmb.cn/en/blog/self-replay-fine-tuning在 X 查看被引用的帖子
来源：meng shao · x.com
来源：RadarAI · aihot.news