MiniCPM-V 4.7 推测解码达 370 tok/s

AI 导读

OpenBMB 的 MiniCPM-V 4.7（35B A3B）搭配 DSPARK Drafter 实现 370 tok/s 的推测解码速度，10 秒内生成 3,589 tokens，持续吞吐 370.0 tok/s、峰值突发 351.8 tok/s，TTFT 平均 0.30s。OpenBMB 称这是社区对推测解码极限的又一次突破。

正文 · AI 翻译

OpenBMB· @OpenBMB · X·2026-10-15 16:59· 2 小时前AI 评分31

AI 导读

MiniCPM-V 4.7 实现 370 tokens/sec？！🔥 很高兴看到社区不断突破推测解码的极限。特别感谢 @Tech2Wild 的整理！🚀

正文

370 tokens/sec with MiniCPM-V 4.7?! 🔥

Love seeing the community push the limits of what's possible with speculative decoding.

Huge shoutout to @Tech2Wild for putting this together! 🚀

引用Tech2Wild@Tech2Wild

So @OpenBMB MiniCPM v4.7 35B A3B Comes With a DSPARK Drafter. This Thing SPITS ! 370 tok/s • Total: 3,589 tokens in 10s • Aggregate: 370.0 tok/s sustained · 359.0 wall-avg · 351.8 peak burst • Per-stream decode: 370.0 high / 370.0 low / 370.0 avg tok/s • TTFT 0.30s avg · E2E 10s avg

在 X 查看被引用的帖子

来源：OpenBMB · x.com

来源：RadarAI · aihot.news