AMD 与 vLLM 如何在 MI355X 上优化 Kimi K3 推理:AgentX 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化,在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由:AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化,可迁移到自建推理栈的瓶颈排查。
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化,在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由:AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化,可迁移到自建推理栈的瓶颈排查。
Comfy 发起竞赛,悬赏 1 万美元大奖征集对 Genjutsu、Cinema Studio 等创意应用的开源重建,要求发布仓库并允许任何人运行和 fork。
Apple 发布 MLX 新版本,展示在 Mac Studio 上本地运行前沿大模型:四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s,单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由:Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据,可据此判断本地大模型推理的可行边界。
FactSet 用 Databricks AI Runtime 的无服务器 GPU 基础设施运行 Text-to-Formula 模型的微调,将模型搭建、训练到部署的周期从数天缩短至数小时。其 TTF 系统此前基于 RAG,后引入微调开源模型,端到端延迟降低约 60%,如今每两到三周微调一次模型,并已使用 Llama 系列模型。
NVIDIA 发布开放模型 Nemotron 3.5 Super VL,1200 亿参数,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。
推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放权重模型,并列出各行业后训练案例,可据此判断开放模型在企业智能体部署中的位置。
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative,为欧洲研究社区提供加速工具、算力、培训与协作支持。
NVIDIA 披露其在北欧的技术生态投资与落地进展:瑞典初创公司 Lovable 正用 NVIDIA Dynamo 和 Nemotron 优化开源模型推理,Legora 则打造法律工作的智能体操作系统。
Databricks 在 AI Runtime 上通过系统性能优化,把 Qwen 3.8 27B 的微调时间从 7 小时 44 分钟压缩到 1 小时 17 分钟,提速 6 倍,训练吞吐从 9,396 tok/s 提升。
NVIDIA 宣布计划投资 Boltz、Foresight、Hiverge、Prima Mente 和 Riverlane 五家英国 AI 与量子初创公司,并作为 Global Alliance Founding Partner 加入 Earthshot Prize。
针对 MoE 模型在 decode 阶段 M 维过薄导致的 GPU 利用率瓶颈,团队通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及之后版本。
IBM 将 Spyre 加速器的 torch.compile 后端从自研的 sendnn 编译栈迁移到 PyTorch 开源 Inductor,编译器体积缩小约 7 倍。
NVIDIA 宣布计划投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,覆盖医疗、材料发现、物理 AI 和商业规划领域。
vLLM 新增双向 KV 传输能力,让 decode 节点把已计算的 KV 块回传给 prefill 节点,避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中,最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍,zai-org/GLM-5-FP8 降低约 3.3 倍。
推荐理由:原文给出双向 KV 传输的架构、可调参数与复现步骤,读者可据此评估多轮智能体场景下的 TTFT 收益。
NVIDIA 在 OCP 全球峰会上通过 MGX 开放架构贡献 Vera Rubin 机架与计算托盘设计,并发布 MGX 1.2 规范,支持最高 250kW 机架部署和液冷 5,000A 母线。
Mozilla.ai 在 AI Native DevCon London 上介绍了 cq 项目,其基本单元是知识单元:智能体遇到非显而易见的问题并找到解法后,将领域、洞察和采取的动作结构化提交,经审核后可被其他智能体查询复用。cq 默认本地运行,使用本地 SQLite 数据库,数据无需离开本机,也可连接远程服务器构建团队级知识库。
Amazon Bedrock 9 月新增 OpenAI 的 Astra、Sol、Luna 系列模型,其中 GPT-6 Astra 支持最高 100 万输入 token,GPT-6 Astra Ultrafast 提供最高 6 倍推理加速、300 tokens/秒。
vLLM 宣布已支持 NVIDIA Vera Rubin NVL72,在 AgentX 上以 MiniMax M3 达到每 GPU 最高 7.84 倍于 GB200 的吞吐,在 150 TPS 约束下吞吐提升 5.18 倍。
推荐理由:vLLM 官方给出 Rubin 平台的早期适配状态与实测吞吐数据,可据此判断新硬件上的部署准备度。
生物医学影像的真正瓶颈在数据而非模型:医院数据锁在 PACS 中,跨机构协作受异构数据与治理流程制约。EXAM 研究中 20 家机构以联邦学习共享模型权重而不移动患者数据,模型 AUC 平均提升 16%、泛化性提升 38%。影像格式横跨 DICOM、全切片病理与 OCT,研究档案已达 PB 级。
IBM 通过 torch-spyre 将 Spyre 接入 PyTorch 的设备、分配器、流与编译器抽象,使其成为原生 PyTorch 设备。Spyre 是 IBM 面向推理的数据流 AI 加速器,拥有 32 核、每核 2 MB scratchpad 和最高 128 GB LPDDR5,专为 IBM Z、LinuxONE 与 Power 系统上的企业推理设计。
PyTorch 博客详解了用于推荐系统 Table Batched Embedding(TBE)前向与反向的 FBTriton 内核设计,其 Triton 实现在这些负载上超过了原有 CUDA 内核。
Google DeepMind 发布 EmbeddingGemma 2,将文本、代码、图像、视频和音频映射到统一嵌入空间,基于 Gemma 4 架构,采用 Apache 2.0 许可,参数量 7.4 亿。
推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。
Sierra 在旧金山 Sierra Summit 2026 上发布 Agent OS 的两款新模型 Curie 和 Fleming,前者负责对话核心编排,后者可识别来电方是否为 AI 智能体。
NVIDIA《State of AI in Telecommunications》报告显示,89% 受访者认为开源模型和软件对公司 AI 战略重要。NVIDIA 发布 300 亿参数的 Nemotron 3 Large Telco Model(LTM),由 AdaptKey 基于开源电信数据集微调,并开放完整微调流程。
Together AI 正与 IBM、NVIDIA 合作扩展企业级 AI 推理能力,首批在 IBM Cloud 上部署大规模 NVIDIA B300 GPU 集群,并采用 NVIDIA Spectrum-X 以太网组网,这是 IBM Cloud 上首个此类专用大规模推理集群,Together AI 也是首个客户。
PyTorch 已将图像、视频、音频的解码与编码能力统一收敛到 TorchCodec,TorchVision 和 TorchAudio 中旧的 I/O API 已被弃用或移除,两者今后专注 transforms。
PyTorch 加速器集成工作组公布 2026 H1 进展,推出跨仓库 CI 中继(CRCR),在 pytorch/pytorch 的 PR 或提交触发后并行向下游仓库派发事件,结果数秒内汇入 hud.pytorch.org/crcr。
Together AI 发布 Together Link,可将团队已在用的编码智能体接入其开源模型,官方称可降低超过 50% 的开销。该工具支持 Claude Code、Claude Desktop、Codex(ChatGPT 应用与 CLI)、OpenCode 和 Pi,设置与登录保持不变,一条命令即可安装并随时切回原生闭源模型。
推荐理由:官方给出接入命令、路由规则与按会话计费对比,可据此估算团队编码智能体的成本变化。
PyTorch 团队将 Helion 集成进 vLLM 的线性后端,用单一 GEMM 实现覆盖 Standard GEMM、Split-K 和 Swap-AB 三种变体,由按形状的自动调优选择最佳变体与配置。
知名 AI 动画艺术家 852話 Hakoniwa 用 Comfy Agent 完成了首部动画短片《YUI》,主角名字取自 ComfyUI 最后三个字母。全片成本约 20 万日元(不含人力),一人专注工作 3 天,其中约 2/3 时间用于生成、1/3 用于剪辑,成片时长 4:20。
Comfy 宣布 Comfy API 正式上线,付费 Comfy 套餐用户可把 ComfyUI 工作流打包成自动扩缩的 API 端点。Build 会记录工作流所需的 ComfyUI 版本、自定义节点、模型和 Python 依赖,再切出不可变 release 部署为独立 URL 的托管端点,测试环境与线上环境一致。
推荐理由:Comfy API 把 ComfyUI 工作流连同自定义节点、模型和依赖打包成可自动扩缩的端点,读者可据此判断自建部署与托管方案的取舍。
vLLM 官方博客发布分离式服务实践指南,介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级,需 vLLM v0.30.0 或更高版本。
推荐理由:vLLM 官方拆解分离式服务的四层架构,给出实测数据与配置命令,可据此判断是否值得拆分。
阿里 Qwen 团队的最新图像模型 Qwen-Image-2.1 已在 ComfyUI 获得原生支持,开源权重、7B 参数,基于优化的 MMDiT 架构,可直接生成带 alpha 通道的 RGBA 图像。
推荐理由:ComfyUI 原生支持 Qwen-Image-2.1,读者可了解其 RGBA 输出与 7B 消费级显存部署的差异。
一家全球金融科技公司把编码智能体工作负载迁到 Together 的 Dedicated Model Inference,运行 GLM-5.2,以并发而非吞吐为设计重点。
Sakana AI 宣布成立前沿智能研究组 FIG,主张智能尚未"解决",应主动探索替代当前主流范式(扩大 Transformer 架构的数据与算力)的路径。FIG 由 CTO、Transformer 发明者之一 Llion Jones 等人推动,强调研究自由、允许失败与"伟大无法被计划"等原则,并关注模型幻觉、面对全新情境失效及能耗等现有系统的基本问题。
Together 给出从闭源模型迁移到开源模型的策略,整体迁移周期可从数月到数年缩短至数周到数月。流程分三步:先按用例和负载筛选候选模型,参考 FrontierCode、DeepSWE、Terminal Bench 4、LMArena、τ-bench 等基准,并关注每任务成本、token 消耗与端到端时延;再用真实流量回放评估准确率与性能;最后做适配。
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型,在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user,并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由:vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案,含 Mooncake 跨节点隐藏态传输与部署命令。
Together AI 扩展 Fine-Tuning 服务,新增 GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash、Qwen 3.5/3.6/3.8、Gemma 4 等开源权重模型支持,并加入实时实验指标、专家层 LoRA、早停、任意 batch size、数据预览与样本权重等控制项。
推荐理由:原文给出微调全流程的可见性与控制项,读者可据此判断训练实验与部署环节的改动方向。