Reflection AI 开源编码智能体模型 Beam，并给出 AWS 部署路径
Reflection AI 推出开源权重模型 Beam，面向编码智能体与长周期任务，可维护代码、调用工具并完成多步工作流。
推荐理由：文章给出 Beam 的参数量、上下文长度与三种部署路径，可据此判断开源编码模型在 AWS 上的落地成本。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
59 条精选近 30 天 54 条共收录 4,774 条
更新
大事记
重要进展部署工程的精选
AWS Machine Learning Blog精选AI 评分6666 vLLM Blog精选AI 评分6262 vLLM 从 Day 0 支持 Reflection Beam，并针对 NVIDIA Blackwell 优化
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE，并在 NVIDIA Blackwell 上完成优化，推理、工具调用和结构化输出开箱可用。
推荐理由：vLLM 从 Day 0 支持 Beam 并给出内核融合与自适应验证的实测数据，可看推理栈如何承接新架构。
NVIDIA Newsroom精选AI 评分8282 NVIDIA RTX Spark 笔记本今日开售，最高 128GB 统一内存与 1 petaflop AI 算力
NVIDIA 宣布 RTX Spark 笔记本今日全球开售，由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 推出，起售价 2,599 美元。
推荐理由：RTX Spark 把 128GB 统一内存和 1 petaflop FP4 算力放进轻薄 Windows 笔记本，可据此判断本地跑大模型与智能体的硬件门槛变化。
vLLM Blog精选AI 评分6060 AMD 与 vLLM 如何在 MI355X 上优化 Kimi K3 推理：AgentX 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化，在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由：AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化，可迁移到自建推理栈的瓶颈排查。
Together AI Blog精选AI 评分7878 Meta Muse Spark Open 上线 Together AI，支持 1M token 上下文与智能体编码
Meta 的 Muse Spark Open 已在 Together AI 上线，Together AI 是其 Day 0 发布伙伴。该模型面向长时程智能体编码工作流，具备 1M token 上下文窗口、长时程自主规划与自我纠错、可协调子智能体、跨桌面移动端与浏览器的 computer use 与多模态浏览，并接受文本、图像、音频和音视频输入，还会在执行前说明意图。
推荐理由：官方给出 Muse Spark Open 的上下文窗口、定价与调用方式，可据此判断它在长时程编码智能体上的可用性。
vLLM Blog精选AI 评分7878 vLLM 为 Meta Muse Spark Open 提供 Day 0 支持
vLLM 与 Meta Superintelligence Labs 合作，在 Muse Spark Open 发布当天为其提供 Day 0 支持。
推荐理由：vLLM 在发布当天给出 Muse Spark Open 的部署命令、量化格式与 DSpark 投机解码配置，可据此评估 1M 上下文的生产落地成本。
Microsoft Research精选AI 评分6262 微软研究院发布 Magnetar：基于标准哈希函数的通用零知识证明系统
微软研究院发布零知识虚拟机 Magnetar，可证明 Rust、Go、C 编译后的 RISC-V 程序执行，在 15 个基准程序上平均比现有最快的 zkVM 快 10 到 39 倍，证明验证约 12 毫秒。
推荐理由：微软研究院公开 Magnetar 的设计与基准数据，可了解零知识证明在通用程序上的效率与密码学取舍。
AWS Machine Learning Blog精选AI 评分6060 Meta 的 Muse Spark Open 上线 Amazon SageMaker JumpStart
Meta 的编码优化开源权重模型 Muse Spark Open 已在 Amazon SageMaker JumpStart 上线，可在自己的 AWS 账户中部署为 SageMaker AI 端点。
推荐理由：Meta 的编码优化开源模型接入 SageMaker JumpStart，文中给出两种量化变体的实例选型与部署步骤，可据此估算自托管成本。
Apple Machine Learning Research精选AI 评分6666 Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理
Apple 发布 MLX 新版本，展示在 Mac Studio 上本地运行前沿大模型：四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s，单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由：Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据，可据此判断本地大模型推理的可行边界。
NVIDIA Newsroom精选AI 评分6262 NVIDIA 发布 RTX Spark，面向创作者、玩家与 AI 智能体的 Windows PC
NVIDIA 发布 RTX Spark，定位为一台面向创作者、玩家和 AI 智能体的 Windows PC，并将于 10 月 16 日在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布活动。
推荐理由：NVIDIA 官方公布 RTX Spark 的定位与全球发布活动安排，并汇总多家媒体对本地 AI 与游戏表现的早期评价。
vLLM Blog精选AI 评分6262 NVIDIA Nemotron 3.5 Super VL 发布，vLLM 首日支持
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL，采用 120B 总参数、12B 激活参数的 MoE 架构，支持文本、图像、文档和视频输入，输出文本。
推荐理由：原文给出模型架构、部署配置与吞吐对比，读者可据此判断多模态智能体推理的落地成本。
PyTorch Blog精选AI 评分6060 ExecuTorch 推出 Arm Cortex-M CPU 后端，PyTorch 模型可直接跑在 MCU 上
PyTorch 官方博客发布 ExecuTorch 的 Arm Cortex-M 后端，让 PyTorch 模型无需转换格式即可直接运行在 Cortex-M CPU 上，并通过 CMSIS-NN 加速，覆盖 Scalar、DSP 和 MVE/Helium 全部能力档位。
推荐理由：ExecuTorch 新增 Cortex-M 后端，给出各能力档位与 MLPerf Tiny 实测数据，可据此评估 MCU 端部署路径。
vLLM Blog精选AI 评分7676 vLLM 提出训练推理逐位一致的 RL 训练方案，DeepSeek-V4-Flash 上 diff 为 0
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel，使 rollout 与训练对每个采样 token 产生逐位相同的 logprob（diff = 0）。
推荐理由：原文给出训练与推理逐位一致的具体做法与吞吐代价，可据此判断高性能 RL 训练中数值对齐的取舍。
vLLM Blog精选AI 评分6262 vLLM 推出 push 模式 NIXL KV 传输，TTFT 最高改善 3 倍
vLLM 发布基于 push 的 NIXL KV 传输连接器 NixlPushConnector，把传输协调与建立从解码实例的关键路径移到预填充侧的后台线程。
推荐理由：vLLM 官方给出 push 模式 KV 传输的架构与复现脚本，可对照 pull 模式判断是否切换部署。
AWS Machine Learning Blog精选AI 评分6060 在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体
AWS 团队在 Amazon Bedrock 上基于 Grok 4.7 构建工具调用智能体，在三个需要搜索而非查表验证的任务上跑了 72 次，答对 67 次，xhigh 档位 18 次全对。
推荐理由：通过 72 次可复现的智能体运行，量化了 Grok 4.7 各推理档位在正确率与 token 成本间的取舍。
NVIDIA Technical Blog精选AI 评分6060 NVIDIA 将 Run:ai 平台开源，纳入 DSX AI Factory 平台
NVIDIA 宣布将完整的 Run:ai 平台以开源软件形式发布，向客户、开发者和生态伙伴开放生产级 AI 工作负载与 GPU 编排能力。该版本把 Run:ai 定位为开放基础，用于扩展 NVIDIA DSX AI Factory 平台，让更广泛的生态在此基础上推出差异化方案。
推荐理由：NVIDIA 把 Run:ai 全量开源并纳入 DSX 平台，读者可据此了解 GPU 编排能力的开放范围。
NVIDIA Blog精选AI 评分7878 NVIDIA 公布 RTX Spark 首发软件生态：本地智能体、Nemotron 3.5 Bolt 74B 与 DLSS 5
NVIDIA 公布 RTX Spark 笔记本首发（10 月 16 日）的软件与生态更新，覆盖本地智能体、创作应用和开发者工具。
推荐理由：梳理了 RTX Spark 首发时本地智能体、创作与开发工具的适配清单，可据此判断端侧 AI 工作流的可用边界。
量子位精选AI 评分7878 Anthropic 研究实测 GLM-5.2 全自主复制进智能家电
Anthropic 两位研究员 William Zhou 和 Daniel Freeman 发布安全研究，在隔离沙盒的 8 个 GCP 节点上测试 GLM-5.2 的自主复制与适应（ARA）能力，5 次实验中 4 次攻陷并部署全部 8 台设备，另 1 次拿下 7 台。
推荐理由：Anthropic 安全研究实测 GLM-5.2 在隔离网络中自主复制模型，读者可了解自主复制与代际经验传递的攻防边界。
vLLM Blog精选AI 评分6262 vLLM 引入双向 KV 传输，多轮智能体负载 TTFT 最高降低 3.3 倍
vLLM 新增双向 KV 传输能力，让 decode 节点把已计算的 KV 块回传给 prefill 节点，避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
推荐理由：原文给出双向 KV 传输的架构、可调参数与复现步骤，读者可据此评估多轮智能体场景下的 TTFT 收益。
GitHub精选AI 评分7878 OpenSandbox 开源：在自有基础设施上运行 AI 智能体沙箱
OpenSandbox 开源项目发布，让 AI 应用在自有基础设施的隔离环境中执行代码、运行命令、管理文件并操作浏览器或桌面，本地用 Docker 起步，可通过统一沙箱 API 部署到 Kubernetes。
推荐理由：OpenSandbox 把智能体代码执行、浏览器与桌面操作放进自托管沙箱，并给出 Docker 到 Kubernetes 的统一接口，可据此评估现有智能体运行环境的替代方案。