vLLM 如何用智能体辅助优化 Kimi K3 解码性能
vLLM 团队用智能体辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径，在 16 块 NVIDIA GB300 上以 DSpark 达到 842 tokens/s，比原生 vLLM 快 1.73 倍。
#开源/仓库
vLLM BlogAI 评分5858 PyTorch BlogAI 评分4646 PyTorch 为 TorchTitan 引入 Zephon 弹性确定性数据加载
PyTorch 博客介绍 Zephon，一种为 TorchTitan 提供弹性确定性数据加载的方案：在 16 GPU 上训练 1B 参数模型至 step 150 后，改用 8、32、64 GPU 恢复训练，Zephon 的 loss 曲线与基线重合，每个 global batch 的 SHA-256 哈希均匹配。
AWS Machine Learning Blog精选AI 评分6666 Reflection AI 开源编码智能体模型 Beam，并给出 AWS 部署路径
Reflection AI 推出开源权重模型 Beam，面向编码智能体与长周期任务，可维护代码、调用工具并完成多步工作流。
推荐理由：文章给出 Beam 的参数量、上下文长度与三种部署路径，可据此判断开源编码模型在 AWS 上的落地成本。
vLLM Blog精选AI 评分6262 vLLM 从 Day 0 支持 Reflection Beam，并针对 NVIDIA Blackwell 优化
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE，并在 NVIDIA Blackwell 上完成优化，推理、工具调用和结构化输出开箱可用。
推荐理由：vLLM 从 Day 0 支持 Beam 并给出内核融合与自适应验证的实测数据，可看推理栈如何承接新架构。
vLLM Blog精选AI 评分7878 vLLM 为 Meta Muse Spark Open 提供 Day 0 支持
vLLM 与 Meta Superintelligence Labs 合作，在 Muse Spark Open 发布当天为其提供 Day 0 支持。
推荐理由：vLLM 在发布当天给出 Muse Spark Open 的部署命令、量化格式与 DSpark 投机解码配置，可据此评估 1M 上下文的生产落地成本。
AWS Machine Learning Blog精选AI 评分6060 Meta 的 Muse Spark Open 上线 Amazon SageMaker JumpStart
Meta 的编码优化开源权重模型 Muse Spark Open 已在 Amazon SageMaker JumpStart 上线，可在自己的 AWS 账户中部署为 SageMaker AI 端点。
推荐理由：Meta 的编码优化开源模型接入 SageMaker JumpStart，文中给出两种量化变体的实例选型与部署步骤，可据此估算自托管成本。
Comfy Blog精选AI 评分7474 Black Forest Labs 发布 FLUX 3 Image Klein：5.6B 开源权重模型
Black Forest Labs 发布 FLUX 3 Image Klein，这是 FLUX 3 家族中紧凑的开源权重模型，参数量 5.6B，保留大尺寸 FLUX 3 Image 的边界框等控制功能，并提供未蒸馏的 Base 版和低延迟的 Distilled 版。
推荐理由：原文给出 5.6B 开源权重的量化加速数据与消费级 GPU 实测，可据此判断本地图像生成的成本变化。
PyTorch Blog精选AI 评分8585 Meta 开源 Muse Spark Open：816B 总参数、42B 激活的编码与智能体模型
Meta 发布 Muse Spark Open 的开放权重，这是一个 816B 总参数、42B 激活的模型，上下文窗口 1M tokens，已在 Hugging Face 上以 Muse Model License 提供。
推荐理由：Meta 开源 816B 总参数、42B 激活的编码与智能体模型，并给出 Helion 内核与 TorchTitan 微调路径，可据此评估开源权重模型的部署与二次训练成本。
PyTorch Blog精选AI 评分6060 ExecuTorch 推出 Arm Cortex-M CPU 后端，PyTorch 模型可直接跑在 MCU 上
PyTorch 官方博客发布 ExecuTorch 的 Arm Cortex-M 后端，让 PyTorch 模型无需转换格式即可直接运行在 Cortex-M CPU 上，并通过 CMSIS-NN 加速，覆盖 Scalar、DSP 和 MVE/Helium 全部能力档位。
推荐理由：ExecuTorch 新增 Cortex-M 后端，给出各能力档位与 MLPerf Tiny 实测数据，可据此评估 MCU 端部署路径。
vLLM Blog精选AI 评分7676 vLLM 提出训练推理逐位一致的 RL 训练方案，DeepSeek-V4-Flash 上 diff 为 0
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel，使 rollout 与训练对每个采样 token 产生逐位相同的 logprob（diff = 0）。
推荐理由：原文给出训练与推理逐位一致的具体做法与吞吐代价，可据此判断高性能 RL 训练中数值对齐的取舍。
vLLM BlogAI 评分3838 vLLM 推出无需置信头的自适应验证，为 EAGLE、MTP 等草稿模型免费启用
vLLM 的自适应验证（AV）现已支持所有基于草稿模型的推测器类型，无需草稿模型自带置信头。该方案用在线拟合的轻量逻辑回归，从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率，K 个 token 的草稿器仅需 K+1 个参数，系数在服务过程中持续拟合。
vLLM Blog精选AI 评分6262 vLLM 推出 push 模式 NIXL KV 传输，TTFT 最高改善 3 倍
vLLM 发布基于 push 的 NIXL KV 传输连接器 NixlPushConnector，把传输协调与建立从解码实例的关键路径移到预填充侧的后台线程。
推荐理由：vLLM 官方给出 push 模式 KV 传输的架构与复现脚本，可对照 pull 模式判断是否切换部署。
NVIDIA NewsroomAI 评分3434 NVIDIA 推出 cuPotential 等 CUDA-X 库，联合半导体厂商推进 AI 定义晶圆厂
NVIDIA 发布 CUDA-X 新库 cuPotential，供开发者构建模拟原子与分子相互作用的 AI 智能体，早期测试中让已 GPU 优化的流程再提速 2-3 倍。
NVIDIA Technical Blog精选AI 评分6060 NVIDIA 将 Run:ai 平台开源，纳入 DSX AI Factory 平台
NVIDIA 宣布将完整的 Run:ai 平台以开源软件形式发布，向客户、开发者和生态伙伴开放生产级 AI 工作负载与 GPU 编排能力。该版本把 Run:ai 定位为开放基础，用于扩展 NVIDIA DSX AI Factory 平台，让更广泛的生态在此基础上推出差异化方案。
推荐理由：NVIDIA 把 Run:ai 全量开源并纳入 DSX 平台，读者可据此了解 GPU 编排能力的开放范围。
AWS Machine Learning BlogAI 评分3434 如何用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理
AWS 发布 Ray LLM Deep Learning Containers，可在 Amazon EKS 上用两个 GPU 节点部署单个大语言模型，将 prefill 与 decode 阶段分离并统一在一个 OpenAI 兼容端点后。该容器内置 vLLM、Ray Serve LLM、NIXL 和 EFA 栈，整个服务应用仅需一段 YAML，无需编写 handler 或构建自定义镜像。
AWS Machine Learning BlogAI 评分2828 在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
AWS 发布 llama.cpp 专用深度学习容器（DLC），可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型，并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
Tessl BlogAI 评分2222 Java 与生成式 AI：Rod Johnson 用 Embabel 构建 JVM 智能体
Spring 创始人 Rod Johnson 将在 vJUG Connect 与伦敦 Java 社区的活动上介绍 Embabel——一个用 Kotlin 构建、与 Spring 无缝集成的 Java/Kotlin 智能体框架。
NVIDIA BlogAI 评分3030 NVIDIA Omniverse 如何用前沿 AI 智能体把创意变成仿真应用
开发者正用 GPT-6 Astra 等前沿 AI 模型配合 NVIDIA Omniverse 库，通过自然语言指令构建仿真应用。仓库仿真在 80 台传送带、40 个机械臂和 800 个箱子场景下以全高清 30 帧每秒运行两分钟，机械臂完成 640 次成功放置；另有机器人线缆布线、CAD 转 SimReady 资产、人形机器人仓库模拟器及自动驾驶测试等案例。
Comfy Blog精选AI 评分6060 如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频
作者用 FastVideo 的 FastH3 V2 checkpoint 配合四步采样、稀疏注意力 VSA、ClipProj 小文本编码器、INT8 剪枝 checkpoint。
推荐理由：作者把单张 RTX 5090 上跑实时视频的七项优化逐条拆开，可迁移到其他视频模型的推理部署。
Microsoft Research精选AI 评分7171 微软开源 Agent Lightning v1.0：3500 行代码的轻量级 Agentic RL 框架
微软研究院开源 Agent Lightning v1.0，一个约 3500 行代码的轻量级 Agentic RL 框架，提出 Harnessed Agentic RL 范式，让部署时使用的 agent harness 直接参与强化学习，无需在训练框架内重新实现 agent。
推荐理由：原文给出框架的代码规模、Kubernetes 支持与端到端训练数据，读者可据此判断接入现有 agent harness 做 RL 的成本。
PyTorch BlogAI 评分3434 用 TLX 优化 Jagged Flash Attention：迈向 Blackwell 上的 SOTA FA4
Meta 用 TLX（Triton Low-level Extensions）为 NVIDIA Blackwell（B200）重写了 GEM 广告模型背后的 Jagged Flash Attention 内核，代码约 3.2K 行，比 FA4 的约 10K 行 CuteDSL 少约 3 倍。
vLLM BlogAI 评分5858 vLLM 支持基于 Gumbel-max 的无失真文本水印
vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印，并集成到 Model Runner v2 的采样管线中，同时兼容投机解码。实现将伪随机数生成、Gumbel 变换与 argmax 归约融合进单个 GPU kernel，在 Qwen3.5-27B 上跨 batch size 1–256 的吞吐变化在 −1.1% 到 +2.0% 之间。
Microsoft Research精选AI 评分6262 微软研究院：把物理 AI 推理卸载出机器人可提升任务成功率与续航
微软研究院对移动操作机器人工作负载做了系统性测量，发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU，能提升任务成功率、支持更大的模型并延长续航。
推荐理由：微软研究院系统测量了机器人端侧 GPU 推理的瓶颈，并给出把推理卸载到边缘或云端的开源工具链，可供机器人开发者参考。
Together AI BlogAI 评分5050 如何用 17 美元训练自己的 Jev 分类模型
基于 Qwen3.5 4B，用 37,840 条来自 MultiNLI、BoolQ、Banking77 等数据集的样本微调，训练成本约 17 美元、耗时约 25 分钟，即可得到一个输入状态与预设问题、输出分数或选项的分类模型。
Together AI Blog精选AI 评分6262 Together AI 推出模型上线 Rollout 功能，支持金丝雀、蓝绿与滚动三种策略
Together AI 发布 Rollout 功能，可在同一 endpoint 上把流量从源部署迁移到目标部署，提供金丝雀、蓝绿和滚动三种策略，并支持指标门禁、暂停、恢复、提升与取消。
推荐理由：原文给出金丝雀、蓝绿、滚动三种上线策略的完整机制与真实回滚演示，可迁移到自有推理服务的模型切换流程。
vLLM Blog精选AI 评分6666 vllm-metal 发布：在 Apple Silicon 上实现并发推理服务
vllm-metal 发布，把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon，由 MLX 与 Metal 负责执行。
推荐理由：vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon，并给出与 llama.cpp、oMLX 的并发对比数据。
Microsoft Research精选AI 评分6262 Microsoft Research 在 Nature 发表逆向合成模型 RetroChimera 并开源
Microsoft Research 在 Nature 发表逆向合成模型 RetroChimera，用于自动提出小分子合成路线。该框架结合 Transformer 模型 R-SMILES 2 与基于图神经网络和反应模板的 NeuralLoc，用学习式集成重排序融合两者预测，在盲测中化学家更偏好其单步反应预测，十个挑战性目标中九个被专家接受。
推荐理由：论文发表于 Nature，并开源实现与权重，读者可了解逆向合成模型如何用集成重排序提升路线预测质量。
Microsoft ResearchAI 评分3939 微软 GigaPath-Flash 与 GigaTIME-Flash：面向人群规模发现的高效病理基础模型
微软研究院推出 GigaPath-Flash 与 GigaTIME-Flash，以蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干大幅降低病理基础模型算力需求，均以 Apache 2.0 许可开源。
Berkeley AI ResearchAI 评分5151 从 CUDA 到 MLX：K-Search 如何把内核优化经验带到 Apple Silicon
Berkeley Sky Lab 与 IBM Research 把演化式内核搜索框架 K-Search 扩展到 Apple 的 MLX 后端，并加入结构化的 CUDA 到 MLX 翻译层，让已有 CUDA 内核经验被自动适配为 Apple Silicon 内核。
OpenAI Alignment 研究博客AI 评分5555 OpenAI 开源思维链可监控性评测数据集与参考代码
OpenAI 开源其思维链可监控性工作的一部分数据集与参考代码，包含评测套件中的大部分数据集、计算可监控性指标 g-mean 2 的代码，以及一种新的交叉拟合过滤策略，仓库地址为 https://github.com/openai/monitorability-evals。
Berkeley AI ResearchAI 评分3535 伯克利提出 SPEX 与 ProxySPEX：大规模识别 LLM 特征交互
伯克利 AI 研究团队提出 SPEX 与 ProxySPEX 算法，利用稀疏性、低阶性和层次性结构，将 LLM 中影响输出的关键交互识别转化为稀疏恢复问题，可扩展到比此前方法大数个数量级的规模。
Berkeley AI ResearchAI 评分2424 伯克利提出信息驱动成像系统设计框架，可跨四类成像域预测系统性能
伯克利 AI Research 提出一种基于互信息的成像系统评估与优化框架，仅用含噪测量和噪声模型即可量化测量所含信息量，无需重建算法或任务专用解码器。该信息指标在彩色摄影、射电天文、无透镜成像和显微成像四个域中均能预测下游解码性能，优化后设计可匹配 SOTA 端到端方法，且内存和算力需求更低。相关成果发表于 NeurIPS 2025 论文。