vLLM 推出 push 模式 NIXL KV 传输,TTFT 最高改善 3 倍
vLLM 发布基于 push 的 NIXL KV 传输连接器 NixlPushConnector,把传输协调与建立从解码实例的关键路径移到预填充侧的后台线程。
推荐理由:vLLM 官方给出 push 模式 KV 传输的架构与复现脚本,可对照 pull 模式判断是否切换部署。
vLLM 发布基于 push 的 NIXL KV 传输连接器 NixlPushConnector,把传输协调与建立从解码实例的关键路径移到预填充侧的后台线程。
推荐理由:vLLM 官方给出 push 模式 KV 传输的架构与复现脚本,可对照 pull 模式判断是否切换部署。
基于 Amazon Bedrock AgentCore 可搭建多智能体 IDP 系统,由 8 个专用智能体在两条图工作流中协作,自动分类、提取、校验并从新文档格式中学习,部署通常不到 20 分钟。
NVIDIA 发布 CUDA-X 新库 cuPotential,供开发者构建模拟原子与分子相互作用的 AI 智能体,早期测试中让已 GPU 优化的流程再提速 2-3 倍。
NVIDIA 用 NeMo Gym 优化芯片设计工作流中 AI 智能体的可靠性与工具调用效率。多阶段工程流程中,早期未被发现的错误会静默传播到下游阶段和最终产物,智能体生成看似合理却错误的产物是生产落地的主要障碍。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,90 天内将关键云暴露减少超 90%,且零生产事故。Tami 由调查、安全评分、修复、代码生成四个专用智能体组成,通过单一 API 按任务调用不同基础模型,安全评分智能体将发现分类为 SAFE、RISKY 或 AWAITING DATA,存疑时降级处理。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中不到 90 秒完成。
Amazon SageMaker JumpStart 提供了一套可复用流程:从模型目录部署模型、用 SageMaker Python SDK 跑轻量性能测试,测完删除端点。
Modem 本周从 modem.dev 迁至 modem.ai,旧链接自动重定向,同时发布重建语义可观测平台 Modem 2.0。新平台连接用户渠道、识别并归类用户关注点,并通过监控 PR 和工单追踪组织如何响应,官方称准确率和端到端性能均有提升。Modem 称其用户已从工程师扩展到创始人、PM、客户成功和销售等角色,现有用户使用方式不变。
欧洲多国城市正联合 ABA Technology、Akila、K2K、Milestone 等软件伙伴,基于 NVIDIA Cosmos、Nemotron 开放模型和 Metropolis VSS Blueprint 构建物理 AI 智能体与数字孪生,用于交通、能源、公共安全等城市运营。
实时分析正成为关键能力,但传统做法需额外部署 Apache Druid、Apache Pinot 或 ClickHouse 等专用服务引擎,带来独立数据副本、管道和治理开销。文章提出实时分析应作为湖仓一体的能力,与批处理共用一份数据和一套管控,并从新鲜度、延迟、并发三个维度评估工作负载是否真正需要实时。金融、零售、制造等场景的实时需求均可由此框架判断。
NVIDIA 介绍如何借助 AI 智能体将 Apache Spark UDF 重写为基于 cuDF 的 GPU 加速实现,以应对智能体 AI 带来的大规模数据集高频复杂查询需求。cuDF 利用 GPU 的大规模并行能力和高带宽显存提升数据吞吐,目标是在成本不按比例增加的前提下满足企业级数据处理需求。
Anchor Browser 与 Amazon Bedrock AgentCore payments 集成,让 AI 智能体在浏览器会话内自动应对 HTTP 402 支付请求并完成 x402 交易,该方案已在 AWS Marketplace 上线。
ComfyUI 以自定义节点形式接入 Nvidia RTX 视频效果,模型随节点分发并在本地 Nvidia RTX GPU 上运行。
Databricks 为 Lakeflow Designer 新增 Prepare、Unique、Guardrails 三个无代码算子,分别用于数据清洗标准化、去重和数据质量检查,并增强 Join、Filter、Select 算子,支持多表连接、动态列选择和分支输出。
GitHub 训练了一个基于 ModernBERT 的上下文感知密钥分类器,用于替代此前的 LLM 流水线,在推送后扫描中实现 86% 的中位执行时间下降和超过 98% 的服务成本节省,用户对告警的接受度提升 11.5%。
Amazon Bedrock 的 managed entitlements 支持从中心账户订阅 AWS Marketplace 私有定价优惠(MPPO),再向组织内多个账户分发模型访问权限。
AWS 团队在 Amazon Bedrock 上基于 Grok 4.7 构建工具调用智能体,在三个需要搜索而非查表验证的任务上跑了 72 次,答对 67 次,xhigh 档位 18 次全对。
推荐理由:通过 72 次可复现的智能体运行,量化了 Grok 4.7 各推理档位在正确率与 token 成本间的取舍。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台智能体 Deckhand,可解答常规 IT 问题、识别报错截图并创建和更新 Jira Service Management 工单。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
针对 MoE 模型在 decode 阶段 M 维过薄导致的 GPU 利用率瓶颈,团队通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及之后版本。
NVIDIA 宣布将完整的 Run:ai 平台以开源软件形式发布,向客户、开发者和生态伙伴开放生产级 AI 工作负载与 GPU 编排能力。该版本把 Run:ai 定位为开放基础,用于扩展 NVIDIA DSX AI Factory 平台,让更广泛的生态在此基础上推出差异化方案。
推荐理由:NVIDIA 把 Run:ai 全量开源并纳入 DSX 平台,读者可据此了解 GPU 编排能力的开放范围。
Tessl 提出评估 AI 软件工厂开放性的关键问题:能否把企业上下文带进去,又能否把工厂积累的知识带出来。文章指出,代码可以带走,但架构决策、技能、评估用例和学到的约束等 know-how 往往留在平台内;支持多模型、接入外部 coding agent、私有化部署都只是起点,真正的开放应让这些知识可检查、可提取、可复用。
IBM 将 Spyre 加速器的 torch.compile 后端从自研的 sendnn 编译栈迁移到 PyTorch 开源 Inductor,编译器体积缩小约 7 倍。
NVIDIA 公布 RTX Spark 笔记本首发(10 月 16 日)的软件与生态更新,覆盖本地智能体、创作应用和开发者工具。
推荐理由:梳理了 RTX Spark 首发时本地智能体、创作与开发工具的适配清单,可据此判断端侧 AI 工作流的可用边界。
Apple 研究团队提出 Minions,一个将多台 macOS 设备上闲置的 Apple Silicon GPU 聚合起来、执行大规模机器学习推理的动态分布式虚拟 GPU 云。系统支持灵活的 GPU 推理任务执行、容错和高效资源利用,让团队无需额外采购 GPU 即可复用现有硬件。研究称,在集中式 GPU 资源受限的环境中,闲置 macOS 设备可转化为实用的分布式 GPU 推理平台。
vLLM 新增双向 KV 传输能力,让 decode 节点把已计算的 KV 块回传给 prefill 节点,避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中,最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍,zai-org/GLM-5-FP8 降低约 3.3 倍。
推荐理由:原文给出双向 KV 传输的架构、可调参数与复现步骤,读者可据此评估多轮智能体场景下的 TTFT 收益。
Amazon Bedrock 现支持在泰国、马来西亚、新加坡、印尼和台湾五个 AWS 区域通过全球跨区域推理调用 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra。
NVIDIA 提出 ReplaySSM,重新思考混合模型解码时的状态存储方式。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 等混合模型将 SSM 层与少量注意力层交错,SSM 层用固定大小状态替代随序列增长的 KV cache 以实现快速解码。
Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开放模型做分布式微调,用 26 个 AI 评委(12 个医疗安全、6 个微观行为、8 个实用性)作为奖励信号,生成超 15,000 条隐私优先的合成问题,并采用监督微调加 DPO 的偏好优化流程。
AWS 发布 Ray LLM Deep Learning Containers,可在 Amazon EKS 上用两个 GPU 节点部署单个大语言模型,将 prefill 与 decode 阶段分离并统一在一个 OpenAI 兼容端点后。该容器内置 vLLM、Ray Serve LLM、NIXL 和 EFA 栈,整个服务应用仅需一段 YAML,无需编写 handler 或构建自定义镜像。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
NVIDIA 与 Cisco 宣布推出 Ultra-Dense Small Form Factor Pluggable(USFP)高密度光模块方案,设计支持每通道 400Gb/s 电信号,单模块容量可达 12.8Tb/s。
NVIDIA 在 OCP 全球峰会上通过 MGX 开放架构贡献 Vera Rubin 机架与计算托盘设计,并发布 MGX 1.2 规范,支持最高 250kW 机架部署和液冷 5,000A 母线。
用一份 ticket 测试编码智能体时,无约束运行只通过 8 项检查中的 1 项,而配置了 charter 的运行通过 8/8。charter 由四个杠杆组成:CLAUDE.md 指令、.claude/rules/ 路径规则、.claude/commands/ 等能力配置,以及唯一能拒绝写入的 .claude/hooks/。作者指出,绿色评分不等于正确变更,语义权限检查仍需人工审查。
Tessl 将一场 AI Native DevCon 演讲《Skills Everywhere》转化为智能体可用的 skill 上下文,核心主张是:企业落地智能体的瓶颈往往不是模型不够强,而是上下文工程不到位。
Leapfrog 团队用 OpenClaw、GitHub 仓库、Obsidian 和 Telegram 搭建了一套"组织大脑",让公司知识与客户生产知识可通过自然语言查询。
Tessl 提出智能体代码审查的六部分结构:标准、视角、发现、裁决、逐条回应与记忆,其中标准以 skills、docs 和 rules 形式存放在仓库中作为上下文。
Tessl 在伦敦举办 AI Native Dev 社区活动,聚焦现代 AI 系统在真实环境中的实际表现。NVIDIA 分享 Skip Softmax Attention 稀疏注意力方法加速长上下文 LLM 推理,Hugging Face 介绍用 Skills 和 MCP 实现模型训练自动化与模型间通信,Tessl 则分享大规模评估 AI 编程智能体的实践经验。
Tessl 两场演讲指出,多数 AI 智能体在生产环境表现不佳,并非模型有误,而是其可见数据不完整、结果缺乏度量。Rob Willoughby 认为持久回报来自智能体周边的环境——上下文、评估与验证,而非更快的工具本身;Streambased CEO Tom Scott 则称智能体受限于数据可见性,缺失的集成与延迟更新形成盲点,降低准确率与自动化率,且更清晰的业务视图往往比更大的上下文窗口更有效。
Spring 创始人 Rod Johnson 将在 vJUG Connect 与伦敦 Java 社区的活动上介绍 Embabel——一个用 Kotlin 构建、与 Spring 无缝集成的 Java/Kotlin 智能体框架。