跳到正文
  1. NVIDIA Newsroom82

    NVIDIA RTX Spark 笔记本今日开售,最高 128GB 统一内存与 1 petaflop AI 算力

    NVIDIA 宣布 RTX Spark 笔记本今日全球开售,由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 推出,起售价 2,599 美元。

    推荐理由:RTX Spark 把 128GB 统一内存和 1 petaflop FP4 算力放进轻薄 Windows 笔记本,可据此判断本地跑大模型与智能体的硬件门槛变化。

  2. RadarAI82

    Meta 发布 816B 开源权重模型 Muse Spark Open,Artificial Analysis 智能指数得 39 分

    Meta 发布开放权重模型 Muse Spark Open,总参数 816B、激活 42B(MoE),在 Artificial Analysis Intelligence Index 上得分 39,成为美国排名第一的开放权重模型。

    推荐理由:Artificial Analysis 的第三方基准给出了该模型与 Meta 自家旗舰及中国开源模型的分数、成本对比,可据此判断开源权重阵营的位置变化。

  3. Apple Machine Learning Research66

    Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理

    Apple 发布 MLX 新版本,展示在 Mac Studio 上本地运行前沿大模型:四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s,单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。

    推荐理由:Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据,可据此判断本地大模型推理的可行边界。

  4. The Decoder78

    Black Forest Labs 发布开源权重图像模型 FLUX 3 Image Klein,8 GB 显存即可运行

    Black Forest Labs 发布 FLUX 3 Image Klein,这是一个 5.6B 参数的开源权重模型,支持文生图、图像编辑以及最多十张参考图生成,支持原生 4K 输出、像素级编辑和用于元素定位的边界框。

    推荐理由:关注开源图像模型的读者可据此了解 FLUX 3 Image Klein 的参数量、显存门槛与商用许可条件。

  5. NVIDIA Newsroom62

    NVIDIA 发布 RTX Spark,面向创作者、玩家与 AI 智能体的 Windows PC

    NVIDIA 发布 RTX Spark,定位为一台面向创作者、玩家和 AI 智能体的 Windows PC,并将于 10 月 16 日在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布活动。

    推荐理由:NVIDIA 官方公布 RTX Spark 的定位与全球发布活动安排,并汇总多家媒体对本地 AI 与游戏表现的早期评价。

  1. PyTorch Blog60

    ExecuTorch 推出 Arm Cortex-M CPU 后端,PyTorch 模型可直接跑在 MCU 上

    PyTorch 官方博客发布 ExecuTorch 的 Arm Cortex-M 后端,让 PyTorch 模型无需转换格式即可直接运行在 Cortex-M CPU 上,并通过 CMSIS-NN 加速,覆盖 Scalar、DSP 和 MVE/Helium 全部能力档位。

    推荐理由:ExecuTorch 新增 Cortex-M 后端,给出各能力档位与 MLPerf Tiny 实测数据,可据此评估 MCU 端部署路径。

  2. NVIDIA Newsroom74

    NVIDIA 扩展 Nemotron 家族,发布 Nemotron 3.5 Super VL 与 Bolt 系列模型

    NVIDIA 发布开放模型 Nemotron 3.5 Super VL,1200 亿参数,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放权重模型,并列出各行业后训练案例,可据此判断开放模型在企业智能体部署中的位置。

  3. RadarAI78

    The Verge 实测 Eiliko 机器人玩具:68000 台设备数据可被任意访问并可远程劫持

    The Verge 记者 Sean Hollister 与黑客 Sammy Azdoufal 实测发现,Energize Lab 的 Eiliko 机器人玩具将用户对话、用户画像、儿童照片和音频存放在无防护的服务器上,可访问约 68000 台设备、1300 万条对话,其中超 31000 份儿童档案来自美国。

    推荐理由:记者联合黑客实测 Eiliko 机器人玩具,展示约 68000 台设备数据可被访问并远程劫持其 LLM 的过程。

  1. Google DeepMind60

    Google DeepMind 与新加坡政府合作推出端侧反诈检测模型

    Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧诈骗检测模型。该模型在设备本地处理对话数据,采用两阶段流水线:先用轻量分类器筛查入站消息,再由微调后的 Gemma 分析更大范围的对话上下文以确认威胁或排除误报,检测到操纵性对话模式时在设备上实时提醒用户。

    推荐理由:原文给出端侧反诈模型的微调路径与两阶段流水线设计,可了解隐私与检测如何兼顾。

  1. 量子位78

    面壁开源 MiniCPM-V 4.7:35B-A3B 手机断网可跑,仅占 3G 内存

    面壁智能与 OpenBMB 开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型,约 3G 内存即可在 iOS、安卓设备上运行。

    推荐理由:面壁开源 MiniCPM-V 4.7,给出 35B-A3B 在手机端 3G 内存运行的具体实测与压缩数据,可据此判断端侧多模态的落地边界。

  1. NVIDIA Blog71

    NVIDIA 与 Microsoft 发布 RTX Spark 及 Windows 智能体基础设施

    NVIDIA 与 Microsoft 在旧金山 Windows AI 活动上宣布为 Windows PC 的 AI 智能体共同设计软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:原文给出 RTX Spark 的硬件规格与本地模型运行能力,读者可据此判断 Windows 端侧 AI 的算力边界。

  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,将文本、代码、图像、视频和音频映射到统一嵌入空间,基于 Gemma 4 架构,采用 Apache 2.0 许可,参数量 7.4 亿。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。

  1. NVIDIA Blog62

    NVIDIA 推出 DGX Spark 64GB 配置,支持双机集群扩展本地 AI

    NVIDIA 将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发售 DGX Spark 64GB 配置,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备端运行。

    推荐理由:原文给出 64GB 配置的定价、上市时间与双机集群扩展方式,可据此判断本地跑大模型的硬件门槛。

已经到底了