vLLM 在 GB300 NVL72 上 PD 部署 Qwen3.8-2.4T 的性能结果
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 做 PD 分离部署,8K/1K 负载下高吞吐场景达到每 GPU 5000 总 token 吞吐,低延迟场景每用户生成 180 token,并给出完整 pareto 前沿。
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 做 PD 分离部署,8K/1K 负载下高吞吐场景达到每 GPU 5000 总 token 吞吐,低延迟场景每用户生成 180 token,并给出完整 pareto 前沿。
vLLM 宣布支持 NVIDIA GPU 内置的硬件视频解码,通过集成 PyNvVideoCodec(NVDEC 的 Python 接口)把视频解码从 CPU 转移到 GPU,解决此前 CPU 解码瓶颈。
一家全球金融科技公司把编码智能体工作负载迁到 Together 的 Dedicated Model Inference,运行 GLM-5.2,以并发而非吞吐为设计重点。
Sakana AI 更新 Sakana Chat,将内置的 Sakana Fugu 切换为最新编排模型 Fugu Max,该模型整合多种开源模型并按提示词路由至最合适的模型,性能对标前沿模型。同时新增记忆功能,可跨会话保留用户角色、项目与回答偏好,Namazu 和 Fugu Max 均可使用,记忆内容可在设置中查看或关闭,且仅对本次更新后的对话生效。
Together 给出从闭源模型迁移到开源模型的策略,整体迁移周期可从数月到数年缩短至数周到数月。流程分三步:先按用例和负载筛选候选模型,参考 FrontierCode、DeepSWE、Terminal Bench 4、LMArena、τ-bench 等基准,并关注每任务成本、token 消耗与端到端时延;再用真实流量回放评估准确率与性能;最后做适配。
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型,在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user,并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由:vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案,含 Mooncake 跨节点隐藏态传输与部署命令。
Augment Code 公开其软件工厂实践,在 2025 年 11 月至 2026 年 7 月间把每位活跃开发者的规模调整后产出从 12.3 提升到 55.7,即 4.5 倍,同时 PR 中位合并时间从 11.2 小时降至 3.1 小时,14 天回滚率从 1.9% 降至 0.4%。
推荐理由:Augment 公开了软件工厂的搭建顺序与各环节智能体分工,可对照自身瓶颈判断先自动化哪一步。
Together AI 扩展 Fine-Tuning 服务,新增 GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash、Qwen 3.5/3.6/3.8、Gemma 4 等开源权重模型支持,并加入实时实验指标、专家层 LoRA、早停、任意 batch size、数据预览与样本权重等控制项。
推荐理由:原文给出微调全流程的可见性与控制项,读者可据此判断训练实验与部署环节的改动方向。
Together AI 为 Together GPU Clusters 推出可抢占算力公开预览,在所有区域的 Kubernetes 集群上线,按需价格的固定 50% 计费,支持亚小时级计量。
Augment Code 在 Cosmos 平台中内置 Advisor,把原本由前置部署工程师(FDE)承担的实施工作交给平台自身完成,官方称其为自我前置部署的智能体平台。
两人 Cosmos Advisor 团队用 Cosmos 构建了 Feedback Triager 智能体,把每周产品反馈从约 5 条增至 30+ 条、两周 60 条的压力接了过来。
Augment 重建 Auggie CLI 的 harness,在 SWE-bench Pro 上以相同通过率完成任务花费 1.27 美元,而 Claude Code 为 2.70 美元,便宜 53%。
推荐理由:Augment 公开了 CLI harness 重写的取舍过程与 SWE-bench Pro 成本对比,可参考其工具面收窄与检索替代探索的思路。
Augment Code 将其 Cosmos 代码审查系统扩展到完整的 PR 到合并流程,新增 Verifier、PR Fixer、Review Dashboard 和 cosmos approve 等能力,由多个专职 Expert 分别负责风险分析、逐行审查、设计评审、运行时验证与修复。
Augment Code 解决方案架构负责人用其智能体编排平台 Cosmos 构建试点健康度视图,打通产品使用数据、GitHub 与 PR 活动、Salesforce 交易状态和客户通话记录,为每个试点生成含采用度、技术进展、风险与整体健康评估的排名视图,每个数字都可追溯到实时来源。
Modem 的 MCP server 和公开 API 现已向所有用户开放,任何 MCP 客户端均可接入,让编码智能体直接查询经合成的客户反馈主题。其提供 search_modem、merge_topics 等读写工具及 invoke_modem_agent 子智能体。
Berkeley Sky Lab 与 IBM Research 把演化式内核搜索框架 K-Search 扩展到 Apple 的 MLX 后端,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验被自动适配为 Apple Silicon 内核。
Augment Code 宣布 GPT-5.6 Sol 即日起成为 Cosmos 的默认模型,理由是它在其质量层级中 token 效率最高。Cosmos 的默认模型选取标准是先通过内部基准与线上测试的通过率门槛,再从中挑选每任务成本最低者,用户仍可自行切换模型。
Modem 面向所有用户开放 Stripe 集成 beta,可在 Settings → Integrations → Stripe 中连接,通过官方 Stripe App 的 OAuth 只读授权,无需 API key。
伯克利 EPIC Data Lab 提出近零推理成本时代数据系统面临三大挑战:为智能体设计(Data Systems For Agents)、由智能体运行(Of Agents)、由智能体构建(By Agents)。
Modem 面向所有用户开放 Notion 集成,智能体可创建页面、填充数据库行、更新属性并向已有页面追加内容,连接通过 OAuth 完成,无需管理 API key。
Modem 面向所有用户上线 Automation Templates,可从 Automations 页面浏览并一键安装经过测试的现成智能体自动化。安装后即生成预填提示词、调度和输出目标的自动化,未编辑提示词时会随模板更新,也可随时 fork 自定义。示例包括 GitHub PR 合并后向 Slack 推送客户跟进提醒、每日发现新对话参与者、每周一根据已合并 PR 生成面向客户的更新日志。