MiniCPM-V 4.7 推测解码达 370 tok/s
OpenBMB 的 MiniCPM-V 4.7(35B A3B)搭配 DSPARK Drafter 实现 370 tok/s 的推测解码速度,10 秒内生成 3,589 tokens,持续吞吐 370.0 tok/s、峰值突发 351.8 tok/s,TTFT 平均 0.30s。OpenBMB 称这是社区对推测解码极限的又一次突破。
OpenBMB 的 MiniCPM-V 4.7(35B A3B)搭配 DSPARK Drafter 实现 370 tok/s 的推测解码速度,10 秒内生成 3,589 tokens,持续吞吐 370.0 tok/s、峰值突发 351.8 tok/s,TTFT 平均 0.30s。OpenBMB 称这是社区对推测解码极限的又一次突破。
面壁智能 MiniCPM-V 4.7 已在 ModelScope 开源,为 35B-A3B 的 MoE 多模态模型,采用 Apache 2.0 协议。官方称其可在 iPhone 17 Pro Max 上以 13+ tokens/s 运行端侧无损推理,Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
千问 App 新增「千问耳机」入口,更新至最新版本后按提示即可一键绑定千问 AI 耳机。绑定后支持语音问答、交办任务,进入「工作助理」语音下达指令即可主动执行,并支持 89 种语言专业翻译与多语言 AI 实时听记。
OpenWhispr 发布开源免费的语音转文字桌面工具,定位为 WisprFlow 和 Granola 的替代品,支持 macOS、Windows 和 Linux。
昆仑万维发布视频大模型游戏 Matrix-Game 4.0,可在单张 NVIDIA RTX 5090 上实时运行,提供 480p、60 FPS 体验,按键到画面反应延迟低于 150 毫秒。
pykeio/ort 是一个用 Rust 对 ONNX 格式模型进行硬件加速推理与训练的接口,基于已停止维护的 onnxruntime-rs,主要封装微软 ONNX Runtime,也支持其他纯 Rust 运行时。
据彭博社报道,苹果计划于 12 月通过 iOS 27.3 更新在中国大陆推出 Apple Intelligence,底层基于阿里巴巴的通义模型,但不会提供新版 Siri 或其他近期发布的 AI 功能。该服务范围与美国版相比受到显著限制,被视为苹果在中国合规落地的重要一步。
Minutes 发布免费开源对话记忆应用,在本地录制并转写会议、通话、语音备忘和听写,记录以 Markdown 文件形式保存在 ~/meetings/ 目录,用户可通过 Claude Code、Codex、Cursor 等 MCP 客户端检索自己选择共享的历史。
Anthropic 发布博客警告,小型 AI 模型可能距离自我复制能力只有数月。研究人员将 Google 的 26B 参数 Gemma 4 拆分到 15 台 Android 电视盒上运行,并在模拟 Android 网络中测试 AI 蠕虫,其中只有智谱(Z.ai)的 GLM-5.2 成功传遍整个网络,被传播的模型则是 Meta 的 8B 参数 Llama 3.1-8B。
国行 iPhone 双机型的备案信息显示三个 AI 模型编号:Apple Intelligence、阿里巴巴千问和通义万相。设备证书于 9 月 29 日续期,10 月 16 日开启预购,起价 15,999 元。
Fud AI 是一款面向 iOS 和 Android 的开源、隐私优先卡路里追踪应用,支持自带 AI 提供商,包括 Gemini、OpenAI、Claude、Grok、Groq、Hugging Face、Fireworks AI、DeepInfra、Mistral 及任意 OpenAI 兼容端点,共 13 家。
OmniBot 是一款直接运行在 Android 设备上的端侧 AI 智能体应用,用原生 Kotlin 和 Flutter 构建,覆盖理解、决策、执行、反思的完整闭环。
Liquid AI 发布开源权重推理模型 LFM2.5-24B-A2B,总参数 24B、每 token 激活约 2.45B,上下文 131,072 tokens,专为笔记本和迷你 PC 上的多步工具调用 Agent 设计,在 Apple M5 Max 上通过 llama.cpp Q4_K_M 达到 184 tok/s。
Lemonade 发布本地 AI 服务器,可在自有 NPU 和 GPU 上运行聊天、编码、语音和图像生成模型,并提供兼容 OpenAI、Anthropic 和 Ollama 的 API 接口。
阶跃终端正式发布大模型原生智能体手机STEPX Neo先行版,搭载智能体原生操作系统Step AOS,售价3999元并附赠连续12个月、每月百亿Token的STEPX Token Plan。
铭芯启睿(MemSilicon)宣布完成基于 1TnR 技术路线的首代高密度、大容量 RRAM 芯片“泰山一号(MountTai 2026)”流片,采用 28nm CMOS 工艺和 1T4R 单元结构,单芯片容量 1Gb,密度 30Mb/mm²,访问延时小于 20ns,并集成片上硬件纠错电路。该芯片已完成流片、正在推进验证,面向嵌入式存储、大容量存储及混合存算三条产品线布局。
阶跃终端(STEPX)于10月13日在上海发布首款大模型原生智能体手机STEPX Neo,先行版搭载智能体原生操作系统Step AOS 1.0与个人智能体阶跃Amoo,全栈价3,999元,10月16日10:13正式开售。
DigUp 是一款 Mac 端本地搜索工具,基于 Google DeepMind 的 EmbeddingGemma 2 模型,可通过自然语言描述直接查找照片、PDF、视频、音频和代码文件,并提供精确的上下文定位功能。
苹果 iPhone Duo 折叠屏手机国行版(型号 A3721)于 9 月 29 日换证,新增搭载的大模型备案编号 Shanghai-AppleZhiNeng-202506160057、Shanghai-TongYiWanXiang-202410090024 和 ZheJiang-TongYiQianWen-20230901。
面壁智能与 OpenBMB 开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型,约 3G 内存即可在 iOS、安卓设备上运行。
推荐理由:面壁开源 MiniCPM-V 4.7,给出 35B-A3B 在手机端 3G 内存运行的具体实测与压缩数据,可据此判断端侧多模态的落地边界。
Google DeepMind 与新加坡数字发展及信息部合作,开发用于实时诈骗检测的本地设备 AI,以增强网络安全并保护公民免受金融欺诈。
Google DeepMind 与新加坡 GovTech 合作,基于开源模型 Gemma 微调出一套注重隐私保护的端侧欺诈检测系统,用于遏制当地盛行的社会工程诈骗。该系统针对本地诈骗手段进行微调,可在用户设备上提供实时检测。
OpenBMB 发布 MiniCPM-V 4.7,为 35B-A3B 开源 MoE 多模态模型,在 iPhone 17 Pro Max 上仅占 3GB 内存,解码速度 13+ tokens/s,模型已在 Hugging Face 和 GitHub 开放。
Pulse Local 是一款在 Mac 本地运行 AI 模型的记账应用,支持 Apple Silicon,用户导入 CSV 即可使用,无需连接银行或云端同步。
Google DeepMind 与新加坡政府科技局(GovTech)在新加坡国际网络周(SICW 2026)发布端侧诈骗检测模型,基于轻量级 Gemma 模型用本地诈骗对话微调,在设备上分析对话并实时提醒用户。
Anthropic Frontier Red Team 研究警告,小型 AI 模型可能距在智能烤箱、杂牌 Android TV 盒子等商用 IoT 设备上自我复制只差数月。
Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧诈骗检测模型。该模型在设备本地处理对话数据,采用两阶段流水线:先用轻量分类器筛查入站消息,再由微调后的 Gemma 分析更大范围的对话上下文以确认威胁或排除误报,检测到操纵性对话模式时在设备上实时提醒用户。
推荐理由:原文给出端侧反诈模型的微调路径与两阶段流水线设计,可了解隐私与检测如何兼顾。
NVIDIA 本地大模型基准测试显示,RTX 4090 在 4-bit 量化下可达每秒约 47.4 token,成为应对专业级 RTX 6000 高昂成本的高性价比替代方案。该推文基于一张 NVIDIA 本地大模型性能图,指出其每秒 45-50 token 的表现。
Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上表示,人人拥有家用 AI 设备的未来"其实并不遥远",个人 AI 助手将本地运行,部分任务在设备端完成、部分回到云端,并拥有安全边界、可访问信用卡替你购物。他本人已用"一组智能体"清理日历、查询通话对象信息。
Cerebras CEO 安德鲁·费尔德曼在 TechCrunch Disrupt 大会上预言,家家户户配备 AI 设备的时代并不遥远,未来将出现本地运行的个人 AI 助手,部分任务本机处理、部分上传云端,能深度了解用户并绑定信用卡代为采购。他以 Meta 的 Muse 和估值达 100 亿美元的初创企业 Instinct 为例,说明消费级智能体正在普通用户中站稳脚跟。
Liquid AI 发布 LFM2.5 系列最大成员 LFM2.5-24B-A2B,总参数 24B、每 token 激活 2B,上下文扩展至 131K tokens,为推理模型。
Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上表示,人人拥有家用 AI 设备的未来"其实并不遥远"。他预测个人 AI 助手将本地运行,部分在设备端、部分回到云端,并拥有安全边界、可访问信用卡替你购物。他本人已用"一组智能体"清理日历、查询通话对象信息。
BaoCut 3.5 新增对 Qwen Image 2.1 Turbo 的本地集成,可在无服务器连接的情况下生成图像,包括 NSFW 内容。基于 Mac Mini M2,1080p 生成耗时 3-5 分钟,2K 耗时 20 分钟。
Flox Intelligence 推出边缘 AI 野生动物驱离设备,通过运动传感器唤醒摄像头、用端侧模型识别动物种类,再播放对应物种的驱离声音,并会变化响应避免动物习惯化。该设备已在北美、欧洲和澳大利亚部署约 150 台,覆盖机场、公路铁路走廊、国家公园等场景,公司预计 2026 年底营收约 150 万美元,并已与列车制造商 Alstom 达成 OEM 合作。
Flox Intelligence 从瑞典 KTH 皇家理工学院分拆,用边缘设备识别靠近铁路、机场和公路的动物种类,再播放对应物种的声音将其驱离,并靠学习变化避免动物产生习惯化。
Liquid AI 发布开源权重推理模型 LFM2.5-24B-A2B,总参数 24B、每 token 仅 2B 激活,专为在设备上运行智能体设计,上下文窗口从 32K 扩至 131K,词表从 65K 扩至 128K。
Liquid AI 发布 LFM2.5 系列最大成员 LFM2.5-24B-A2B,并已在 OpenRouter 上线。该模型为 24B 总参数、每 token 2B 激活的 MoE 推理模型,上下文扩展至 131K tokens,词表 128K,使用 33T 预训练 tokens,面向笔记本和 PC 本地运行 Agent 与工具调用多步任务。
Ray-Ban Meta Audio 是一款去掉摄像头的纯音频智能眼镜,售价 $349,主打开放式音频与轻量设计,外观接近普通眼镜。它搭载 Muse Spark 模型(Muse AI 后续才上线),可处理日历、提醒、消息等简单任务,但复杂请求易出错;唤醒词可关闭,改用右镜腿自定义按键唤起 Meta AI。评测认为其音质尚可、续航长,但价格偏高,AI 仍非购买理由。
苹果发布第四代 Apple TV 4K,搭载由下一代 Apple Intelligence 驱动的全新 Siri AI,支持全屏对话式搜索和内置远场麦克风免手操作。新品售价 299 美元,今日开启预购,11 月 13 日到店,Siri AI 以 beta 形式在 tvOS 27.2 上线,首批覆盖美国、英国等 8 个英语市场。
screenpipe 是一个 source-available 应用,持续在本地捕获屏幕与音频,生成可搜索的 AI 记忆,默认本地存储,可选云端与团队功能。它采用事件驱动截屏(应用切换、点击、输入停顿、滚动时抓取截图并附带无障碍树,缺失时回退 OCR),音频用本地 Whisper Large-V3-Turbo 或云端 Deepgram 转写,并支持说话人识别。