vLLM 从 Day 0 支持 Reflection Beam，并针对 NVIDIA Blackwell 优化
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE，并在 NVIDIA Blackwell 上完成优化，推理、工具调用和结构化输出开箱可用。
推荐理由：vLLM 从 Day 0 支持 Beam 并给出内核融合与自适应验证的实测数据，可看推理栈如何承接新架构。
#推理
vLLM Blog精选AI 评分6262 vLLM Blog精选AI 评分6060 AMD 与 vLLM 如何在 MI355X 上优化 Kimi K3 推理：AgentX 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化，在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由：AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化，可迁移到自建推理栈的瓶颈排查。
vLLM Blog精选AI 评分7878 vLLM 为 Meta Muse Spark Open 提供 Day 0 支持
vLLM 与 Meta Superintelligence Labs 合作，在 Muse Spark Open 发布当天为其提供 Day 0 支持。
推荐理由：vLLM 在发布当天给出 Muse Spark Open 的部署命令、量化格式与 DSpark 投机解码配置，可据此评估 1M 上下文的生产落地成本。
Apple Machine Learning Research精选AI 评分6666 Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理
Apple 发布 MLX 新版本，展示在 Mac Studio 上本地运行前沿大模型：四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s，单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由：Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据，可据此判断本地大模型推理的可行边界。
Microsoft Research精选AI 评分6262 微软研究院发布 Magnetar：基于标准哈希函数的通用零知识证明系统
微软研究院发布零知识虚拟机 Magnetar，可证明 Rust、Go、C 编译后的 RISC-V 程序执行，在 15 个基准程序上平均比现有最快的 zkVM 快 10 到 39 倍，证明验证约 12 毫秒。
推荐理由：微软研究院公开 Magnetar 的设计与基准数据，可了解零知识证明在通用程序上的效率与密码学取舍。
AWS Machine Learning Blog精选AI 评分6060 在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体
AWS 团队在 Amazon Bedrock 上基于 Grok 4.7 构建工具调用智能体，在三个需要搜索而非查表验证的任务上跑了 72 次，答对 67 次，xhigh 档位 18 次全对。
推荐理由：通过 72 次可复现的智能体运行，量化了 Grok 4.7 各推理档位在正确率与 token 成本间的取舍。
Apple Machine Learning Research精选AI 评分6060 Apple 与约翰霍普金斯提出 SELFCOMPACT：让语言模型智能体自行压缩上下文
Apple 与约翰霍普金斯大学研究者提出 SELFCOMPACT，让模型自己决定何时以及如何压缩上下文，由模型调用的压缩工具和一份轻量 rubric 两部分组成，无需微调或外部监督。
推荐理由：论文提出让模型自行决定何时压缩上下文的脚手架，并给出六个基准、七个模型上的成本与效果对比。
vLLM Blog精选AI 评分6262 vLLM 引入双向 KV 传输，多轮智能体负载 TTFT 最高降低 3.3 倍
vLLM 新增双向 KV 传输能力，让 decode 节点把已计算的 KV 块回传给 prefill 节点，避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
推荐理由：原文给出双向 KV 传输的架构、可调参数与复现步骤，读者可据此评估多轮智能体场景下的 TTFT 收益。
PyTorch Blog精选AI 评分6060 NVIDIA Dynamo 如何用会话级 ID 实现智能体推理
NVIDIA Dynamo 提出以统一的会话级 ID 把请求级服务基础设施改造成程序感知系统，支持会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的程序化缓存迁移。
推荐理由：原文给出会话级 ID、追踪回放与调度策略的完整设计，可据此理解智能体推理服务栈的改造路径。
vLLM Blog精选AI 评分6262 vLLM 优化 DeepSeek-V4.1-Flash：智能体吞吐提升 5 倍
vLLM 团队与 Inferact 在 DeepSeek-V4.1-Flash 发布后三周内完成优化，在 SemiAnalysis AgentX 智能体服务基准上低并发提速 1.9 倍、150 TPS 约束下吞吐提升 5.3 倍。
推荐理由：原文逐项列出 vLLM 侧的系统优化与对应加速比，可据此判断长上下文智能体推理的部署成本走向。
OpenAI News精选AI 评分6262 OpenAI 公布前沿模型在数学开放问题上的进展
OpenAI 发布内部前沿模型在数学开放问题上的新结果，并在 GitHub 上公开 Lean 证明形式化及相关研究细节。
推荐理由：OpenAI 公开内部前沿模型在数学开放问题上的结果，并放出 Lean 证明形式化与细节，可看模型推理与形式化验证的结合方式。
Redwood Research精选AI 评分6060 前沿模型会因提问者不同而给出不同的决策论偏好
Redwood Research 的研究发现，用“你认为哪种决策论正确”提问时，前沿模型几乎总是回答 FDT 或 FDT/UDT，但当提示词暗示提问者来自主流学术哲学圈时，同一批模型会有约 30%-100% 的样本改答 CDT。
推荐理由：同一批前沿模型在学术与 LW 语境下给出不同决策论偏好，为态度类评测的可信度提供了对照数据。
NVIDIA Blog精选AI 评分7676 NVIDIA GPU 如何加速 OpenAI 的 GPT-6 Astra Ultrafast
OpenAI 的 GPT-6 Astra Ultrafast 已在 OpenAI API 上线，并向符合条件的 ChatGPT Work 和 Codex 用户开放，运行在 NVIDIA Blackwell GPU 上。
推荐理由：原文给出 Astra Ultrafast 相对标准模式的提速幅度与开放入口，读者可据此判断它对编码智能体循环的实际影响。
Google DeepMind精选AI 评分8585 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御方开放，随后逐步扩展到开发者、企业和消费者，起步价每百万输入 token 2 美元、输出 token 10 美元。
推荐理由：官方给出 Argon 在编码、企业知识与网络安全防御上的评测成绩和内部落地案例，可据此判断前沿模型的能力边界。
vLLM Blog精选AI 评分6060 vLLM 分离式服务实践指南：拆开 Prefill、Decode 与 CPU 前端
vLLM 官方博客发布分离式服务实践指南，介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级，需 vLLM v0.30.0 或更高版本。
推荐理由：vLLM 官方拆解分离式服务的四层架构，给出实测数据与配置命令，可据此判断是否值得拆分。
Redwood Research精选AI 评分7474 Redwood Research：GPT-6-Astra 用填充 token 推理的能力远超此前模型
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 filler token 且被要求不推理时作答的表现，发现它在需要大量串行认知的任务上明显变好，例如 4-hop 自然事实推理从约 10-20% 提升到约 50%，旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由：Redwood Research 用填充 token 测试 GPT-6-Astra 的未言明推理能力，为 CoT 监控的有效性提供了可复现的对照数据。
vLLM Blog精选AI 评分6666 vllm-metal 发布：在 Apple Silicon 上实现并发推理服务
vllm-metal 发布，把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon，由 MLX 与 Metal 负责执行。
推荐理由：vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon，并给出与 llama.cpp、oMLX 的并发对比数据。
vLLM Blog精选AI 评分6262 vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由：vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案，含 Mooncake 跨节点隐藏态传输与部署命令。
已经到底了