淘宝MNN团队开源0.3B端侧模型

淘宝MNN团队发布并开源约3亿参数的轻量模型MNN-Pocket-0.3B，面向手机应用在有限算力、内存和能耗下的任务需求。据该团队介绍，模型在iPhone 18 Pro上通过MNN引擎完全离线运行，平均解码速度约350 token/s。 其INT4 MNN部署文件体积为173MB，包含模型权重、分词器、计算图和推理配置；团队还提供从预训练、后训练到端侧部署的多个版本，供开发者选择起点继续训练、评测和构建应用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。