跳到正文
  1. AWS Machine Learning Blog66

    Reflection AI 开源编码智能体模型 Beam,并给出 AWS 部署路径

    Reflection AI 推出开源权重模型 Beam,面向编码智能体与长周期任务,可维护代码、调用工具并完成多步工作流。

    推荐理由:文章给出 Beam 的参数量、上下文长度与三种部署路径,可据此判断开源编码模型在 AWS 上的落地成本。

  2. vLLM Blog62

    vLLM 从 Day 0 支持 Reflection Beam,并针对 NVIDIA Blackwell 优化

    vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一个 501B 参数、每 token 激活 23B 的 MoE,并在 NVIDIA Blackwell 上完成优化,推理、工具调用和结构化输出开箱可用。

    推荐理由:vLLM 从 Day 0 支持 Beam 并给出内核融合与自适应验证的实测数据,可看推理栈如何承接新架构。

  3. vLLM Blog78

    vLLM 为 Meta Muse Spark Open 提供 Day 0 支持

    vLLM 与 Meta Superintelligence Labs 合作,在 Muse Spark Open 发布当天为其提供 Day 0 支持。

    推荐理由:vLLM 在发布当天给出 Muse Spark Open 的部署命令、量化格式与 DSpark 投机解码配置,可据此评估 1M 上下文的生产落地成本。

  4. AWS Machine Learning Blog60

    Meta 的 Muse Spark Open 上线 Amazon SageMaker JumpStart

    Meta 的编码优化开源权重模型 Muse Spark Open 已在 Amazon SageMaker JumpStart 上线,可在自己的 AWS 账户中部署为 SageMaker AI 端点。

    推荐理由:Meta 的编码优化开源模型接入 SageMaker JumpStart,文中给出两种量化变体的实例选型与部署步骤,可据此估算自托管成本。

  5. PyTorch Blog85

    Meta 开源 Muse Spark Open:816B 总参数、42B 激活的编码与智能体模型

    Meta 发布 Muse Spark Open 的开放权重,这是一个 816B 总参数、42B 激活的模型,上下文窗口 1M tokens,已在 Hugging Face 上以 Muse Model License 提供。

    推荐理由:Meta 开源 816B 总参数、42B 激活的编码与智能体模型,并给出 Helion 内核与 TorchTitan 微调路径,可据此评估开源权重模型的部署与二次训练成本。

  6. Comfy Blog74

    Black Forest Labs 发布 FLUX 3 Image Klein:5.6B 开源权重模型

    Black Forest Labs 发布 FLUX 3 Image Klein,这是 FLUX 3 家族中紧凑的开源权重模型,参数量 5.6B,保留大尺寸 FLUX 3 Image 的边界框等控制功能,并提供未蒸馏的 Base 版和低延迟的 Distilled 版。

    推荐理由:原文给出 5.6B 开源权重的量化加速数据与消费级 GPU 实测,可据此判断本地图像生成的成本变化。

  1. PyTorch Blog60

    ExecuTorch 推出 Arm Cortex-M CPU 后端,PyTorch 模型可直接跑在 MCU 上

    PyTorch 官方博客发布 ExecuTorch 的 Arm Cortex-M 后端,让 PyTorch 模型无需转换格式即可直接运行在 Cortex-M CPU 上,并通过 CMSIS-NN 加速,覆盖 Scalar、DSP 和 MVE/Helium 全部能力档位。

    推荐理由:ExecuTorch 新增 Cortex-M 后端,给出各能力档位与 MLPerf Tiny 实测数据,可据此评估 MCU 端部署路径。

  2. vLLM Blog76

    vLLM 提出训练推理逐位一致的 RL 训练方案,DeepSeek-V4-Flash 上 diff 为 0

    vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生逐位相同的 logprob(diff = 0)。

    推荐理由:原文给出训练与推理逐位一致的具体做法与吞吐代价,可据此判断高性能 RL 训练中数值对齐的取舍。

  3. vLLM Blog62

    vLLM 推出 push 模式 NIXL KV 传输,TTFT 最高改善 3 倍

    vLLM 发布基于 push 的 NIXL KV 传输连接器 NixlPushConnector,把传输协调与建立从解码实例的关键路径移到预填充侧的后台线程。

    推荐理由:vLLM 官方给出 push 模式 KV 传输的架构与复现脚本,可对照 pull 模式判断是否切换部署。

  1. NVIDIA Technical Blog60

    NVIDIA 将 Run:ai 平台开源,纳入 DSX AI Factory 平台

    NVIDIA 宣布将完整的 Run:ai 平台以开源软件形式发布,向客户、开发者和生态伙伴开放生产级 AI 工作负载与 GPU 编排能力。该版本把 Run:ai 定位为开放基础,用于扩展 NVIDIA DSX AI Factory 平台,让更广泛的生态在此基础上推出差异化方案。

    推荐理由:NVIDIA 把 Run:ai 全量开源并纳入 DSX 平台,读者可据此了解 GPU 编排能力的开放范围。

  1. Comfy Blog60

    如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频

    作者用 FastVideo 的 FastH3 V2 checkpoint 配合四步采样、稀疏注意力 VSA、ClipProj 小文本编码器、INT8 剪枝 checkpoint。

    推荐理由:作者把单张 RTX 5090 上跑实时视频的七项优化逐条拆开,可迁移到其他视频模型的推理部署。

  1. Microsoft Research71

    微软开源 Agent Lightning v1.0:3500 行代码的轻量级 Agentic RL 框架

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量级 Agentic RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重新实现 agent。

    推荐理由:原文给出框架的代码规模、Kubernetes 支持与端到端训练数据,读者可据此判断接入现有 agent harness 做 RL 的成本。

  1. Microsoft Research62

    微软研究院:把物理 AI 推理卸载出机器人可提升任务成功率与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,能提升任务成功率、支持更大的模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出把推理卸载到边缘或云端的开源工具链,可供机器人开发者参考。

  1. Together AI Blog62

    Together AI 推出模型上线 Rollout 功能,支持金丝雀、蓝绿与滚动三种策略

    Together AI 发布 Rollout 功能,可在同一 endpoint 上把流量从源部署迁移到目标部署,提供金丝雀、蓝绿和滚动三种策略,并支持指标门禁、暂停、恢复、提升与取消。

    推荐理由:原文给出金丝雀、蓝绿、滚动三种上线策略的完整机制与真实回滚演示,可迁移到自有推理服务的模型切换流程。

  2. vLLM Blog66

    vllm-metal 发布:在 Apple Silicon 上实现并发推理服务

    vllm-metal 发布,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。

    推荐理由:vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon,并给出与 llama.cpp、oMLX 的并发对比数据。

  1. Microsoft Research62

    Microsoft Research 在 Nature 发表逆向合成模型 RetroChimera 并开源

    Microsoft Research 在 Nature 发表逆向合成模型 RetroChimera,用于自动提出小分子合成路线。该框架结合 Transformer 模型 R-SMILES 2 与基于图神经网络和反应模板的 NeuralLoc,用学习式集成重排序融合两者预测,在盲测中化学家更偏好其单步反应预测,十个挑战性目标中九个被专家接受。

    推荐理由:论文发表于 Nature,并开源实现与权重,读者可了解逆向合成模型如何用集成重排序提升路线预测质量。

已经到底了