AMD 与 vLLM 如何在 MI355X 上优化 Kimi K3 推理：AgentX 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化，在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由：AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化，可迁移到自建推理栈的瓶颈排查。
#开源生态
vLLM Blog精选AI 评分6060 Apple Machine Learning Research精选AI 评分6666 Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理
Apple 发布 MLX 新版本，展示在 Mac Studio 上本地运行前沿大模型：四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s，单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由：Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据，可据此判断本地大模型推理的可行边界。
NVIDIA Newsroom精选AI 评分7474 NVIDIA 扩展 Nemotron 家族，发布 Nemotron 3.5 Super VL 与 Bolt 系列模型
NVIDIA 发布开放模型 Nemotron 3.5 Super VL，1200 亿参数，主打多模态智能体任务，官方称其吞吐量最高可达同类模型的 5 倍，精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。
推荐理由：NVIDIA 一次放出三款覆盖数据中心到端侧的开放权重模型，并列出各行业后训练案例，可据此判断开放模型在企业智能体部署中的位置。
vLLM Blog精选AI 评分6262 vLLM 引入双向 KV 传输，多轮智能体负载 TTFT 最高降低 3.3 倍
vLLM 新增双向 KV 传输能力，让 decode 节点把已计算的 KV 块回传给 prefill 节点，避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
推荐理由：原文给出双向 KV 传输的架构、可调参数与复现步骤，读者可据此评估多轮智能体场景下的 TTFT 收益。
vLLM Blog精选AI 评分6262 vLLM 支持 NVIDIA Vera Rubin NVL72，AgentX 吞吐达 GB200 NVL72 的 7.8 倍
vLLM 宣布已支持 NVIDIA Vera Rubin NVL72，在 AgentX 上以 MiniMax M3 达到每 GPU 最高 7.84 倍于 GB200 的吞吐，在 150 TPS 约束下吞吐提升 5.18 倍。
推荐理由：vLLM 官方给出 Rubin 平台的早期适配状态与实测吞吐数据，可据此判断新硬件上的部署准备度。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型
Google DeepMind 发布 EmbeddingGemma 2，将文本、代码、图像、视频和音频映射到统一嵌入空间，基于 Gemma 4 架构，采用 Apache 2.0 许可，参数量 7.4 亿。
推荐理由：EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间，并给出端侧内存与向量截断的具体数据，便于评估本地多模态检索的可行性。
Together AI Blog精选AI 评分6262 Together AI 发布 Together Link，把开源模型接入现有编码智能体
Together AI 发布 Together Link，可将团队已在用的编码智能体接入其开源模型，官方称可降低超过 50% 的开销。该工具支持 Claude Code、Claude Desktop、Codex（ChatGPT 应用与 CLI）、OpenCode 和 Pi，设置与登录保持不变，一条命令即可安装并随时切回原生闭源模型。
推荐理由：官方给出接入命令、路由规则与按会话计费对比，可据此估算团队编码智能体的成本变化。
Comfy Blog精选AI 评分6565 Comfy API 上线：把 ComfyUI 工作流部署为生产 API
Comfy 宣布 Comfy API 正式上线，付费 Comfy 套餐用户可把 ComfyUI 工作流打包成自动扩缩的 API 端点。Build 会记录工作流所需的 ComfyUI 版本、自定义节点、模型和 Python 依赖，再切出不可变 release 部署为独立 URL 的托管端点，测试环境与线上环境一致。
推荐理由：Comfy API 把 ComfyUI 工作流连同自定义节点、模型和依赖打包成可自动扩缩的端点，读者可据此判断自建部署与托管方案的取舍。
vLLM Blog精选AI 评分6060 vLLM 分离式服务实践指南：拆开 Prefill、Decode 与 CPU 前端
vLLM 官方博客发布分离式服务实践指南，介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级，需 vLLM v0.30.0 或更高版本。
推荐理由：vLLM 官方拆解分离式服务的四层架构，给出实测数据与配置命令，可据此判断是否值得拆分。
Comfy Blog精选AI 评分7171 Qwen-Image-2.1 在 ComfyUI 原生支持：开源权重图像生成与编辑，支持透明通道
阿里 Qwen 团队的最新图像模型 Qwen-Image-2.1 已在 ComfyUI 获得原生支持，开源权重、7B 参数，基于优化的 MMDiT 架构，可直接生成带 alpha 通道的 RGBA 图像。
推荐理由：ComfyUI 原生支持 Qwen-Image-2.1，读者可了解其 RGBA 输出与 7B 消费级显存部署的差异。
vLLM Blog精选AI 评分6262 vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由：vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案，含 Mooncake 跨节点隐藏态传输与部署命令。
Together AI Blog精选AI 评分6262 Together AI 扩展微调服务，新增模型、实时指标与更细粒度控制
Together AI 扩展 Fine-Tuning 服务，新增 GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash、Qwen 3.5/3.6/3.8、Gemma 4 等开源权重模型支持，并加入实时实验指标、专家层 LoRA、早停、任意 batch size、数据预览与样本权重等控制项。
推荐理由：原文给出微调全流程的可见性与控制项，读者可据此判断训练实验与部署环节的改动方向。
已经到底了