AMD 与 vLLM 如何在 MI355X 上优化 Kimi K3 推理：AgentX 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化，在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由：AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化，可迁移到自建推理栈的瓶颈排查。
#开源生态
vLLM Blog精选AI 评分6060 Apple Machine Learning Research精选AI 评分6666 Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理
Apple 发布 MLX 新版本，展示在 Mac Studio 上本地运行前沿大模型：四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s，单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由：Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据，可据此判断本地大模型推理的可行边界。
vLLM Blog精选AI 评分6262 vLLM 引入双向 KV 传输，多轮智能体负载 TTFT 最高降低 3.3 倍
vLLM 新增双向 KV 传输能力，让 decode 节点把已计算的 KV 块回传给 prefill 节点，避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
推荐理由：原文给出双向 KV 传输的架构、可调参数与复现步骤，读者可据此评估多轮智能体场景下的 TTFT 收益。
vLLM Blog精选AI 评分6060 vLLM 分离式服务实践指南：拆开 Prefill、Decode 与 CPU 前端
vLLM 官方博客发布分离式服务实践指南，介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级，需 vLLM v0.30.0 或更高版本。
推荐理由：vLLM 官方拆解分离式服务的四层架构，给出实测数据与配置命令，可据此判断是否值得拆分。
vLLM Blog精选AI 评分6262 vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由：vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案，含 Mooncake 跨节点隐藏态传输与部署命令。
已经到底了