如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频
作者用 FastVideo 的 FastH3 V2 checkpoint 配合四步采样、稀疏注意力 VSA、ClipProj 小文本编码器、INT8 剪枝 checkpoint。
推荐理由:作者把单张 RTX 5090 上跑实时视频的七项优化逐条拆开,可迁移到其他视频模型的推理部署。
作者用 FastVideo 的 FastH3 V2 checkpoint 配合四步采样、稀疏注意力 VSA、ClipProj 小文本编码器、INT8 剪枝 checkpoint。
推荐理由:作者把单张 RTX 5090 上跑实时视频的七项优化逐条拆开,可迁移到其他视频模型的推理部署。
NVIDIA KGMON 团队在 KDD Cup 2026 Data Agents 竞赛中获得第二名,其系统核心思路是让智能体的 harness 更小、更清晰、更易验证。该竞赛要求智能体针对数据库、CSV 和 JSON 文件、散文文档、PDF 及简报视频等异构数据源回答自然语言问题。
NVIDIA Dynamo 提出以统一的会话级 ID 把请求级服务基础设施改造成程序感知系统,支持会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的程序化缓存迁移。
推荐理由:原文给出会话级 ID、追踪回放与调度策略的完整设计,可据此理解智能体推理服务栈的改造路径。
AWS 发布基于 Amazon SageMaker HyperPod 与 EKS 的多租户参考架构,让多个团队共享同一 GPU 集群。
Oracle 在招聘、工程和运营环节借助 ChatGPT Work 与 Codex,把专家知识转化为快速、可重复的工作流,将原本数天的工作缩短到几分钟。
Databricks 与 Replit 的集成已正式可用并原生支持 Lakebase,企业团队可用 Replit Agent 基于 Databricks 实时数据构建受治理应用,并部署为 Databricks Apps。
IBM 通过 torch-spyre 将 Spyre 接入 PyTorch 的设备、分配器、流与编译器抽象,使其成为原生 PyTorch 设备。Spyre 是 IBM 面向推理的数据流 AI 加速器,拥有 32 核、每核 2 MB scratchpad 和最高 128 GB LPDDR5,专为 IBM Z、LinuxONE 与 Power 系统上的企业推理设计。
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 与 Amazon Bedrock Knowledge Bases,可构建航空应用中的实时语音旅行助手,支持查询行程、改座位、更新餐食偏好、回答政策问题并转接人工客服。
在 SageMaker Unified Studio 中管理 SageMaker HyperPod 集群时,需按组织、项目、集群、工作负载四层控制设计治理策略。
AWS 发文解读国际标准 ISO/IEC 42005:2025,说明如何将 AI 系统影响评估整合进企业风险管理体系。该标准覆盖评估全生命周期,Annex D 提供简化流程以避免重复评估,Annex E 提供独立实施模板,并支持轻量级 triage 判断是否需要完整评估。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 在原有预检索 ACL 过滤之上新增实时 ACL 校验,在查询时直接向权威数据源核实权限,避免依赖可能过期或映射错误的 ACL 数据。
NVIDIA 分享了教机器人组装 GB300 测试托盘的过程,GB300 是 Grace Blackwell 超级芯片,为现代基础模型的 AI 训练与推理提供算力。文章围绕这一装配任务,讨论了机器人学习、机械智能以及传统工程方法带来的经验。
NVIDIA 提出用数字孪生与 AI 智能体验证 AI 工厂的变更。AI 工厂整合 GPU、CPU、交换机、DPU 与 SuperNIC,并叠加调度器、编排服务、安全控制与快速迭代的软件栈,部署与验证难度都很高。该方案针对基础设施、软件与策略能否协同支撑目标工作负载这一问题。
AWS 提出 Agentic Value Model,用于替代为 RPA 设计的传统 ROI 模型,从时间节省、异常处理、决策质量和变更韧性四个维度衡量 agentic automation 的价值。该框架指出节省的工时并不等于利润,需有明确的价值实现机制和责任人;AWS 给出的规划区间显示纠错成本可达原始交易的 1.5–4 倍,人为错误可占运营成本的 2–15%。
Qlik 基于 Amazon Bedrock 打造 Qlik Answers,让员工用自然语言提问并获得带来源的可信回答,自 2026 年 2 月正式可用以来,其 Discovery Agent 已为客户发现超过 10 万条异常与离群点。
AWS DevOps Agent 完成事件调查后,可通过 Amazon EventBridge、AWS Lambda Durable Functions 与 Amazon Bedrock 构建自动修复工作流,将调查摘要转为待审批的预验证修复方案。只读操作自动执行,涉及基础设施变更的操作会暂停并等待人工批准,审批后继续执行,从而缩短 MTTR。
AWS 设计了一个为期六周的导师制项目,让非工程背景的业务人员用 Strands Agents SDK、Amazon Bedrock AgentCore 和 Amazon Nova 模型构建可运行的 AI 原型。
Cornerstone OnDemand 基于 Amazon Bedrock 和 Strands Agents 构建多智能体系统 Orion AI,将数据库诊断时间从 45 分钟降至 10 分钟,缩短 78%。该系统还把手动生命周期步骤从 10 步以上减至 1 次交互,冗余告警中位数减少 65%,SRE 与数据团队间的 15 分钟报告延迟降为实时。三人团队用六个月完成交付。
vLLM 团队与 Inferact 在 DeepSeek-V4.1-Flash 发布后三周内完成优化,在 SemiAnalysis AgentX 智能体服务基准上低并发提速 1.9 倍、150 TPS 约束下吞吐提升 5.3 倍。
推荐理由:原文逐项列出 vLLM 侧的系统优化与对应加速比,可据此判断长上下文智能体推理的部署成本走向。
PyTorch 博客详解了用于推荐系统 Table Batched Embedding(TBE)前向与反向的 FBTriton 内核设计,其 Triton 实现在这些负载上超过了原有 CUDA 内核。
NVIDIA Megatron Core 支持位级确定性(bitwise determinism)的大规模预训练,让训练过程更易调试、验证和可复现地恢复。在数千块 GPU 上训练万亿参数模型时,多种并行维度、低精度计算和分布式 checkpoint 会加大故障复现与修复验证的难度,位级确定性正是针对这一场景。
基于开源智能体系统 OpenClaw 与 Amazon Bedrock AgentCore 运行时,可搭建具备长期记忆的个人 AI 助手:AgentCore memory 将一次性对话转为持久知识,并用结构化元数据标记记忆以便按需检索。
PyTorch 已将图像、视频、音频的解码与编码能力统一收敛到 TorchCodec,TorchVision 和 TorchAudio 中旧的 I/O API 已被弃用或移除,两者今后专注 transforms。
PyTorch 加速器集成工作组公布 2026 H1 进展,推出跨仓库 CI 中继(CRCR),在 pytorch/pytorch 的 PR 或提交触发后并行向下游仓库派发事件,结果数秒内汇入 hud.pytorch.org/crcr。
OpenRouter 发布对比文章,梳理 OpenAI、Anthropic、Google 及自家 openrouter:shell、openrouter:bash 四类服务端代码执行工具,模型在 API 请求内直接调用沙箱运行命令并取回输出。
推荐理由:对比四家服务端代码执行沙箱的能力、计费与安全边界,可据此判断自建还是托管。
PyTorch 团队将 Helion 集成进 vLLM 的线性后端,用单一 GEMM 实现覆盖 Standard GEMM、Split-K 和 Swap-AB 三种变体,由按形状的自动调优选择最佳变体与配置。
GitHub 提出 AI 时代开发者应强化的三项技能:学会指挥 AI 智能体而非仅使用它,不轻信 AI 的首次答案,以及用 AI 节省的时间去解决更大问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明可用第二个模型对计划、代码和测试进行批判性审查。
OpenRouter 发文对比 LangChain/LangGraph、CrewAI 与 OpenRouter 原生路由,指出多模型编排实为三层:工作流编排、模型路由与提供商路由。
OpenRouter 发布指南,介绍支持机器人采用"廉价优先"模型路由:常规 FAQ 交给小型廉价模型,难例或不确定请求再升级到更强模型。三种应用侧模式为静态规则、分类器分诊和带置信度阈值的答案检查。OpenRouter 的 Auto Router("model": "openrouter/auto")可按任务类型选初始模型,models 数组提供错误回退,但支持政策验收检查仍需应用自己负责。
OpenRouter 发布六大 Agent 框架工具调用 Schema 处理对比,指出 OpenAI、Anthropic、Google 各自使用不同的工具定义与返回格式,为一个提供商写的工具定义无法原样用于另一个。
Meta 用 TLX(Triton Low-level Extensions)为 NVIDIA Blackwell(B200)重写了 GEM 广告模型背后的 Jagged Flash Attention 内核,代码约 3.2K 行,比 FA4 的约 10K 行 CuteDSL 少约 3 倍。
OpenRouter 发布指南,介绍用置信度阈值做模型升级路由:让模型通过 structured outputs 返回 0 到 1 的数值置信度字段,低于阈值的请求再转给更强的模型。
推荐理由:OpenRouter 给出用置信度分数做模型升级路由的完整五步流程,可迁移到自己的推理成本控制中。
vLLM 官方博客发布分离式服务实践指南,介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级,需 vLLM v0.30.0 或更高版本。
推荐理由:vLLM 官方拆解分离式服务的四层架构,给出实测数据与配置命令,可据此判断是否值得拆分。
GitHub Copilot 应用中的 canvas 是一种可自定义的双向界面,用户只需在 agent 会话中输入 /create-canvas 并用自然语言描述需求,即可生成看板、发布清单或仪表盘等界面,无需编写代码。canvas 会保存为扩展,可随项目共享或作为个人扩展复用,社区也已通过 Awesome Copilot 分享现成的 canvas 扩展。
GitHub Copilot 应用重建了 pull request 视图,用一个 2,200 个文件、超百万行改动、400 多条行内评论的开源 PR 做压力测试。它把文档高度拆成确定性的代码几何与动态评论块两套体系:代码行高提前算好,评论高度按需测量并锚定到文件、行和侧,避免滚动跳动。
基于 Qwen3.5 4B,用 37,840 条来自 MultiNLI、BoolQ、Banking77 等数据集的样本微调,训练成本约 17 美元、耗时约 25 分钟,即可得到一个输入状态与预设问题、输出分数或选项的分类模型。
MiniMax H3 视频 VAE 编码最高提速约 2.2 倍、解码提速约 1.4-2.7 倍,1344x768、129 帧的编解码往返从 24.3 秒降至 12.7 秒。
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 做 PD 分离部署,8K/1K 负载下高吞吐场景达到每 GPU 5000 总 token 吞吐,低延迟场景每用户生成 180 token,并给出完整 pareto 前沿。
Together 给出从闭源模型迁移到开源模型的策略,整体迁移周期可从数月到数年缩短至数周到数月。流程分三步:先按用例和负载筛选候选模型,参考 FrontierCode、DeepSWE、Terminal Bench 4、LMArena、τ-bench 等基准,并关注每任务成本、token 消耗与端到端时延;再用真实流量回放评估准确率与性能;最后做适配。
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型,在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user,并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由:vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案,含 Mooncake 跨节点隐藏态传输与部署命令。