vLLM 如何用智能体辅助优化 Kimi K3 解码性能
vLLM 团队用智能体辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径,在 16 块 NVIDIA GB300 上以 DSpark 达到 842 tokens/s,比原生 vLLM 快 1.73 倍。
vLLM 团队用智能体辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径,在 16 块 NVIDIA GB300 上以 DSpark 达到 842 tokens/s,比原生 vLLM 快 1.73 倍。
Databricks 宣布多语句事务(Multi-Statement Transactions)正式 GA,可在 Delta Lake 和 Apache Iceberg 表上原生运行跨多表、多语句的原子工作流,无需再依赖独立数仓系统。
AWS SMGS Operations 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向 AWS 全球现场销售的多智能体系统评估框架,覆盖 Performance Insights、Customer Insights、Data Insights 等子智能体。
Stripe Data Pipeline 现已支持将 Stripe 数据实时同步到 Postgres,Databricks Lakebase 是受支持的目标之一,由 OpenSharing 驱动,更新可在数秒内到达。
NVIDIA 推出 RTX Spark,基于 GB10 系统级芯片和大容量统一内存,让开发者在一台机器上本地完成 AI 编码、测试与部署。当前 AI 智能体开发流程分散在笔记本、云端模型 API 和云 VM 之间,RTX Spark 旨在将这一流程整合到本地。
PyTorch 博客介绍 Zephon,一种为 TorchTitan 提供弹性确定性数据加载的方案:在 16 GPU 上训练 1B 参数模型至 step 150 后,改用 8、32、64 GPU 恢复训练,Zephon 的 loss 曲线与基线重合,每个 global batch 的 SHA-256 哈希均匹配。
Reflection AI 推出开源权重模型 Beam,面向编码智能体与长周期任务,可维护代码、调用工具并完成多步工作流。
推荐理由:文章给出 Beam 的参数量、上下文长度与三种部署路径,可据此判断开源编码模型在 AWS 上的落地成本。
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一个 501B 参数、每 token 激活 23B 的 MoE,并在 NVIDIA Blackwell 上完成优化,推理、工具调用和结构化输出开箱可用。
推荐理由:vLLM 从 Day 0 支持 Beam 并给出内核融合与自适应验证的实测数据,可看推理栈如何承接新架构。
NVIDIA 宣布 RTX Spark 笔记本今日全球开售,由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 推出,起售价 2,599 美元。
推荐理由:RTX Spark 把 128GB 统一内存和 1 petaflop FP4 算力放进轻薄 Windows 笔记本,可据此判断本地跑大模型与智能体的硬件门槛变化。
Tessl 工程团队用 Tessl Code Review 审查其单体仓库每周超 1200 个智能体编写的 PR,约 75% 的 PR 无需人工修正即可合并。该工具基于团队自有编码规范审查,发现的问题中 91% 为真实缺陷,高于此前 AI 审查工具的 68%,每个 PR 修复的真实 bug 数量翻倍(1.56 对 0.75),单 PR 审查成本降低 35%。
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化,在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由:AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化,可迁移到自建推理栈的瓶颈排查。
Databricks AI 研究团队自去年 AI Runtime(AIR)推出起就将其作为首个客户,用它开发、训练和测试支撑 AI Functions(含 ai_parse_document、ai_extract)的模型。
Krea 3 现已通过 ComfyUI Partner Nodes 提供,这是 Krea 推出的新图像模型,主打基于参考图的生成与编辑。模型针对速度与单图成本优化,支持多张参考图按上传顺序编号引用,并可在改变场景、光线或构图时保持产品标签、形状与材质不变。
Databricks 的 Lakehouse//RT 现已支持 Spatial SQL 与空间 join,在高并发下地理空间查询最高比传统云数据仓库快 38 倍。基于 SpatialBench 的测试显示,单查询并发下最高快 20 倍,即便剔除提升最大的查询,平均仍快 3.5 倍以上,且无需修改代码或新增许可。该功能目前处于 Beta 阶段。
Atlassian 在 Databricks 上以 OCSF 开放模式构建安全湖仓,处理每天 440 亿条日志事件。借助 OCSF 结构化数据,分区与 Z-ORDER 将代表性查询从约 45 秒降至 2–3 秒,提升 95%;启用 Graviton 集群与 Photon 后查询成本与运行时间减少约三分之二。
Meta 的 Muse Spark Open 已在 Together AI 上线,Together AI 是其 Day 0 发布伙伴。该模型面向长时程智能体编码工作流,具备 1M token 上下文窗口、长时程自主规划与自我纠错、可协调子智能体、跨桌面移动端与浏览器的 computer use 与多模态浏览,并接受文本、图像、音频和音视频输入,还会在执行前说明意图。
推荐理由:官方给出 Muse Spark Open 的上下文窗口、定价与调用方式,可据此判断它在长时程编码智能体上的可用性。
vLLM 与 Meta Superintelligence Labs 合作,在 Muse Spark Open 发布当天为其提供 Day 0 支持。
推荐理由:vLLM 在发布当天给出 Muse Spark Open 的部署命令、量化格式与 DSpark 投机解码配置,可据此评估 1M 上下文的生产落地成本。
微软研究院发布零知识虚拟机 Magnetar,可证明 Rust、Go、C 编译后的 RISC-V 程序执行,在 15 个基准程序上平均比现有最快的 zkVM 快 10 到 39 倍,证明验证约 12 毫秒。
推荐理由:微软研究院公开 Magnetar 的设计与基准数据,可了解零知识证明在通用程序上的效率与密码学取舍。
Meta 的编码优化开源权重模型 Muse Spark Open 已在 Amazon SageMaker JumpStart 上线,可在自己的 AWS 账户中部署为 SageMaker AI 端点。
推荐理由:Meta 的编码优化开源模型接入 SageMaker JumpStart,文中给出两种量化变体的实例选型与部署步骤,可据此估算自托管成本。
Volvo Cars 宣布扩大与 NVIDIA 的合作,基于 NVIDIA Hyperion 传感器与计算架构、Halos OS 和 Alpamayo Stack 驾驶软件,为未来车型打造门到门的安全自动驾驶能力,覆盖高速、城市街道与泊车场景。
Apple 发布 MLX 新版本,展示在 Mac Studio 上本地运行前沿大模型:四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s,单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由:Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据,可据此判断本地大模型推理的可行边界。
Adobe 与 NVIDIA 扩大合作,将 NVIDIA RTX Spark 超级芯片引入 Photoshop、Premiere 和 Substance 3D 等智能体创作应用,AI 处理、编辑、调色与特效速度最高提升 2 倍。
NVIDIA 发布 RTX Spark,定位为一台面向创作者、玩家和 AI 智能体的 Windows PC,并将于 10 月 16 日在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布活动。
推荐理由:NVIDIA 官方公布 RTX Spark 的定位与全球发布活动安排,并汇总多家媒体对本地 AI 与游戏表现的早期评价。
OpenRouter 发布 Private Endpoints,让企业把微调模型、专属部署或向供应商预留的容量注册为私有端点,通过现有 API 和 model slug 调用,公共供应商可作为限流或故障时的备用。
FactSet 用 Databricks AI Runtime 的无服务器 GPU 基础设施运行 Text-to-Formula 模型的微调,将模型搭建、训练到部署的周期从数天缩短至数小时。其 TTF 系统此前基于 RAG,后引入微调开源模型,端到端延迟降低约 60%,如今每两到三周微调一次模型,并已使用 Llama 系列模型。
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL,采用 120B 总参数、12B 激活参数的 MoE 架构,支持文本、图像、文档和视频输入,输出文本。
推荐理由:原文给出模型架构、部署配置与吞吐对比,读者可据此判断多模态智能体推理的落地成本。
AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用相互独立的验证层让智能体在可验证时自主行动,只在需要判断的决策上保留人工介入。
PyTorch 官方博客发布 ExecuTorch 的 Arm Cortex-M 后端,让 PyTorch 模型无需转换格式即可直接运行在 Cortex-M CPU 上,并通过 CMSIS-NN 加速,覆盖 Scalar、DSP 和 MVE/Helium 全部能力档位。
推荐理由:ExecuTorch 新增 Cortex-M 后端,给出各能力档位与 MLPerf Tiny 实测数据,可据此评估 MCU 端部署路径。
Tessl 发布 Verifiers,用写在仓库里的纯文本规则在每次代码改动时返回 pass 或 fail,可像 lint 或测试一样在本地、pre-commit 或 CI 中运行,目前已 GA。
NVIDIA DLSS 4.5 控制选项已在 GeForce NOW 上线,会员可在设置中调节支持游戏的画质与性能,覆盖 Windows、macOS、Chrome OS 和 Steam OS。
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative,为欧洲研究社区提供加速工具、算力、培训与协作支持。
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生逐位相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理逐位一致的具体做法与吞吐代价,可据此判断高性能 RL 训练中数值对齐的取舍。
NVIDIA 披露其在北欧的技术生态投资与落地进展:瑞典初创公司 Lovable 正用 NVIDIA Dynamo 和 Nemotron 优化开源模型推理,Legora 则打造法律工作的智能体操作系统。
Databricks 在 AI Runtime 上通过系统性能优化,把 Qwen 3.8 27B 的微调时间从 7 小时 44 分钟压缩到 1 小时 17 分钟,提速 6 倍,训练吞吐从 9,396 tok/s 提升。
Databricks 的 Predictive AI Functions 进入 Beta,新增 ai_top_drivers、ai_detect_anomalies、ai_predict_value、ai_predict_class 四个 SQL 原生函数,并提升了 ai_forecast 的准确率。
vLLM 的自适应验证(AV)现已支持所有基于草稿模型的推测器类型,无需草稿模型自带置信头。该方案用在线拟合的轻量逻辑回归,从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率,K 个 token 的草稿器仅需 K+1 个参数,系数在服务过程中持续拟合。
Databricks 的 Document Intelligence 解析、分类、抽取 REST API 已正式 GA,用于文档路由的 decisions API 进入 beta。
OLTP 面向高并发、低延迟的当前数据读写,如支付、订单和库存更新,依靠 ACID 保证数据完整性;OLAP 面向跨时间、产品、地域等维度的大规模历史数据扫描、关联与聚合分析。
HTAP(混合事务/分析处理)由 Gartner 于 2014 年提出,指在同一集成数据库系统内融合 OLTP 与 OLAP,让分析查询直接读取当前事务数据,无需等待批量 ETL 搬运。
Databricks 的 Amber Roberts 指出,企业 AI 智能体采用速度远超 ROI 证明,因为采购者与日常使用者往往不是同一批人,目前多数组织仍处于试用与铺开阶段。她认为"更快"是衡量智能体生产力的错误指标,生产力应绑定各团队自身 KPI,且效率提升只有在质量不下降时才有意义。她还强调智能体理解业务上下文比单纯执行任务的速度更重要。