AMD 与 vLLM 如何在 MI355X 上优化 Kimi K3 推理：AgentX 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化，在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由：AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化，可迁移到自建推理栈的瓶颈排查。
#推理
vLLM Blog精选AI 评分6060 Apple Machine Learning Research精选AI 评分6666 Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理
Apple 发布 MLX 新版本，展示在 Mac Studio 上本地运行前沿大模型：四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s，单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由：Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据，可据此判断本地大模型推理的可行边界。
AWS Machine Learning Blog精选AI 评分6060 在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体
AWS 团队在 Amazon Bedrock 上基于 Grok 4.7 构建工具调用智能体，在三个需要搜索而非查表验证的任务上跑了 72 次，答对 67 次，xhigh 档位 18 次全对。
推荐理由：通过 72 次可复现的智能体运行，量化了 Grok 4.7 各推理档位在正确率与 token 成本间的取舍。
vLLM Blog精选AI 评分6262 vLLM 引入双向 KV 传输，多轮智能体负载 TTFT 最高降低 3.3 倍
vLLM 新增双向 KV 传输能力，让 decode 节点把已计算的 KV 块回传给 prefill 节点，避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
推荐理由：原文给出双向 KV 传输的架构、可调参数与复现步骤，读者可据此评估多轮智能体场景下的 TTFT 收益。
PyTorch Blog精选AI 评分6060 NVIDIA Dynamo 如何用会话级 ID 实现智能体推理
NVIDIA Dynamo 提出以统一的会话级 ID 把请求级服务基础设施改造成程序感知系统，支持会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的程序化缓存迁移。
推荐理由：原文给出会话级 ID、追踪回放与调度策略的完整设计，可据此理解智能体推理服务栈的改造路径。
vLLM Blog精选AI 评分6262 vLLM 优化 DeepSeek-V4.1-Flash：智能体吞吐提升 5 倍
vLLM 团队与 Inferact 在 DeepSeek-V4.1-Flash 发布后三周内完成优化，在 SemiAnalysis AgentX 智能体服务基准上低并发提速 1.9 倍、150 TPS 约束下吞吐提升 5.3 倍。
推荐理由：原文逐项列出 vLLM 侧的系统优化与对应加速比，可据此判断长上下文智能体推理的部署成本走向。
vLLM Blog精选AI 评分6060 vLLM 分离式服务实践指南：拆开 Prefill、Decode 与 CPU 前端
vLLM 官方博客发布分离式服务实践指南，介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级，需 vLLM v0.30.0 或更高版本。
推荐理由：vLLM 官方拆解分离式服务的四层架构，给出实测数据与配置命令，可据此判断是否值得拆分。
vLLM Blog精选AI 评分6262 vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由：vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案，含 Mooncake 跨节点隐藏态传输与部署命令。
已经到底了