FactSet 如何借助 Databricks AI Runtime 将模型训练与部署从数天缩短至数小时
FactSet 用 Databricks AI Runtime 的无服务器 GPU 基础设施运行 Text-to-Formula 模型的微调,将模型搭建、训练到部署的周期从数天缩短至数小时。其 TTF 系统此前基于 RAG,后引入微调开源模型,端到端延迟降低约 60%,如今每两到三周微调一次模型,并已使用 Llama 系列模型。
FactSet 用 Databricks AI Runtime 的无服务器 GPU 基础设施运行 Text-to-Formula 模型的微调,将模型搭建、训练到部署的周期从数天缩短至数小时。其 TTF 系统此前基于 RAG,后引入微调开源模型,端到端延迟降低约 60%,如今每两到三周微调一次模型,并已使用 Llama 系列模型。
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL,采用 120B 总参数、12B 激活参数的 MoE 架构,支持文本、图像、文档和视频输入,输出文本。
推荐理由:原文给出模型架构、部署配置与吞吐对比,读者可据此判断多模态智能体推理的落地成本。
AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用相互独立的验证层让智能体在可验证时自主行动,只在需要判断的决策上保留人工介入。
NVIDIA 发布开放模型 Nemotron 3.5 Super VL,1200 亿参数,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。
推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放权重模型,并列出各行业后训练案例,可据此判断开放模型在企业智能体部署中的位置。
NVIDIA 发布 Nemotron 3.5 Super VL,一个面向专用工作流的开放可定制多模态模型,采用 120B 参数 MoE 架构、激活 12B 参数。该模型针对持续运行的智能体场景,单次请求可能涉及读取文档、跨来源核对信息、遵循公司政策并调用多个工具。
同一新闻,精选展示《NVIDIA 扩展 Nemotron 家族,发布 Nemotron 3.5 Super VL 与 Bolt 系列模型》
PyTorch 官方博客发布 ExecuTorch 的 Arm Cortex-M 后端,让 PyTorch 模型无需转换格式即可直接运行在 Cortex-M CPU 上,并通过 CMSIS-NN 加速,覆盖 Scalar、DSP 和 MVE/Helium 全部能力档位。
推荐理由:ExecuTorch 新增 Cortex-M 后端,给出各能力档位与 MLPerf Tiny 实测数据,可据此评估 MCU 端部署路径。
OpenAI 为 Educators 推出巴西葡萄牙语版 AI,并展示 Study Mode 如何帮助教师支持学生主动、分步学习。
Tessl 发布 Verifiers,用写在仓库里的纯文本规则在每次代码改动时返回 pass 或 fail,可像 lint 或测试一样在本地、pre-commit 或 CI 中运行,目前已 GA。
NVIDIA DLSS 4.5 控制选项已在 GeForce NOW 上线,会员可在设置中调节支持游戏的画质与性能,覆盖 Windows、macOS、Chrome OS 和 Steam OS。
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative,为欧洲研究社区提供加速工具、算力、培训与协作支持。
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生逐位相同的 logprob(diff = 0)。
推荐理由:原文给出训练与推理逐位一致的具体做法与吞吐代价,可据此判断高性能 RL 训练中数值对齐的取舍。
NVIDIA 披露其在北欧的技术生态投资与落地进展:瑞典初创公司 Lovable 正用 NVIDIA Dynamo 和 Nemotron 优化开源模型推理,Legora 则打造法律工作的智能体操作系统。
Block 正基于 OpenAI 技术构建 AI 驱动的安全体系,其安全团队借此更快调查威胁,并能在数分钟内提出补丁方案。
Databricks 在 AI Runtime 上通过系统性能优化,把 Qwen 3.8 27B 的微调时间从 7 小时 44 分钟压缩到 1 小时 17 分钟,提速 6 倍,训练吞吐从 9,396 tok/s 提升。
Databricks 的 Predictive AI Functions 进入 Beta,新增 ai_top_drivers、ai_detect_anomalies、ai_predict_value、ai_predict_class 四个 SQL 原生函数,并提升了 ai_forecast 的准确率。
vLLM 的自适应验证(AV)现已支持所有基于草稿模型的推测器类型,无需草稿模型自带置信头。该方案用在线拟合的轻量逻辑回归,从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率,K 个 token 的草稿器仅需 K+1 个参数,系数在服务过程中持续拟合。
Databricks 的 Document Intelligence 解析、分类、抽取 REST API 已正式 GA,用于文档路由的 decisions API 进入 beta。
SentinelOne 借助 OpenAI Daybreak 将恶意软件分析时间从数周压缩到数小时,从而有能力调查更多威胁。
OLTP 面向高并发、低延迟的当前数据读写,如支付、订单和库存更新,依靠 ACID 保证数据完整性;OLAP 面向跨时间、产品、地域等维度的大规模历史数据扫描、关联与聚合分析。
HTAP(混合事务/分析处理)由 Gartner 于 2014 年提出,指在同一集成数据库系统内融合 OLTP 与 OLAP,让分析查询直接读取当前事务数据,无需等待批量 ETL 搬运。
Databricks 的 Amber Roberts 指出,企业 AI 智能体采用速度远超 ROI 证明,因为采购者与日常使用者往往不是同一批人,目前多数组织仍处于试用与铺开阶段。她认为"更快"是衡量智能体生产力的错误指标,生产力应绑定各团队自身 KPI,且效率提升只有在质量不下降时才有意义。她还强调智能体理解业务上下文比单纯执行任务的速度更重要。
Amp 利用 GPT-6 Astra、Ultrafast、GPT-Live-1 以及 Sign in with ChatGPT,将 AI 智能体的能力拓展到编码之外的场景。
vLLM 发布基于 push 的 NIXL KV 传输连接器 NixlPushConnector,把传输协调与建立从解码实例的关键路径移到预填充侧的后台线程。
推荐理由:vLLM 官方给出 push 模式 KV 传输的架构与复现脚本,可对照 pull 模式判断是否切换部署。
基于 Amazon Bedrock AgentCore 可搭建多智能体 IDP 系统,由 8 个专用智能体在两条图工作流中协作,自动分类、提取、校验并从新文档格式中学习,部署通常不到 20 分钟。
NVIDIA 发布 CUDA-X 新库 cuPotential,供开发者构建模拟原子与分子相互作用的 AI 智能体,早期测试中让已 GPU 优化的流程再提速 2-3 倍。
NVIDIA 用 NeMo Gym 优化芯片设计工作流中 AI 智能体的可靠性与工具调用效率。多阶段工程流程中,早期未被发现的错误会静默传播到下游阶段和最终产物,智能体生成看似合理却错误的产物是生产落地的主要障碍。
研究者提出一种轻量方法,直接利用预训练语音编码器帧级语言信息判断一句话中是否同时出现两种语言,无需依赖多语言转录。在 CS-FLEURS 的 14 个语言对上,Whisper-small 编码器平均 F1 达 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。该方法表明预训练语音编码器已编码识别语码转换所需信息,可用于构建更具代表性的多语言语料。
Apple 提出首个从零预训练的三模态掩码扩散模型(MDM),在文本、图文和音频-文本数据上联合训练,并系统分析了多模态缩放规律、模态混合比例、噪声调度与批大小影响。其基于 SDE 的重参数化将物理批大小与逻辑批大小解耦,免去最优批大小调参。初步模型在 3B 规模(6.4T tokens)下于文本生成、T2I 和 T2S 任务均取得强劲结果。
Third Moment Research 借助 GPT-6 Astra、GPT-6.1 Sol、Codex 以及网络安全方向的 Daybreak,构建出可连续专注数天并随使用持续改进的 AI 智能体,规模达 10,000 个、运行时长 36+ 小时。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,90 天内将关键云暴露减少超 90%,且零生产事故。Tami 由调查、安全评分、修复、代码生成四个专用智能体组成,通过单一 API 按任务调用不同基础模型,安全评分智能体将发现分类为 SAFE、RISKY 或 AWAITING DATA,存疑时降级处理。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中不到 90 秒完成。
Sakana AI 为 Sakana Chat 新增记忆可视化功能 My Fish,可查看聊天机器人记住了什么、记忆何时被调用以及记忆之间的关联。该功能提供热力图、分类总览、以鱼为中心的连接地图和读写时间线,30 天以上未使用的记忆会变淡,对话中调用记忆时还会显示提示标签。My Fish 已在 Web 和移动端上线,用户可在设置中随时关闭记忆功能。
Amazon SageMaker JumpStart 提供了一套可复用流程:从模型目录部署模型、用 SageMaker Python SDK 跑轻量性能测试,测完删除端点。
Modem 本周从 modem.dev 迁至 modem.ai,旧链接自动重定向,同时发布重建语义可观测平台 Modem 2.0。新平台连接用户渠道、识别并归类用户关注点,并通过监控 PR 和工单追踪组织如何响应,官方称准确率和端到端性能均有提升。Modem 称其用户已从工程师扩展到创始人、PM、客户成功和销售等角色,现有用户使用方式不变。
OpenAI 新分析显示,智能体 AI 在欧盟大型企业与小企业中的采用率正在上升,更深入的使用有望释放更多价值。
NVIDIA 宣布一项五年期、价值 2.5 亿美元的算力捐赠,用于加强英国的智能体安全与安全研究能力,每年提供 5000 万美元算力访问。大部分算力将支持英国更广泛的 AI 安全与安全研究社区,一部分用于与牛津大学主导的 BOLD、UCL 主导的 SOFAIR 以及帝国理工学院在智能体基础模型与机器人安全方面的合作。
欧洲多国城市正联合 ABA Technology、Akila、K2K、Milestone 等软件伙伴,基于 NVIDIA Cosmos、Nemotron 开放模型和 Metropolis VSS Blueprint 构建物理 AI 智能体与数字孪生,用于交通、能源、公共安全等城市运营。
NVIDIA 宣布计划投资 Boltz、Foresight、Hiverge、Prima Mente 和 Riverlane 五家英国 AI 与量子初创公司,并作为 Global Alliance Founding Partner 加入 Earthshot Prize。
Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧诈骗检测模型。该模型在设备本地处理对话数据,采用两阶段流水线:先用轻量分类器筛查入站消息,再由微调后的 Gemma 分析更大范围的对话上下文以确认威胁或排除误报,检测到操纵性对话模式时在设备上实时提醒用户。
推荐理由:原文给出端侧反诈模型的微调路径与两阶段流水线设计,可了解隐私与检测如何兼顾。
实时分析正成为关键能力,但传统做法需额外部署 Apache Druid、Apache Pinot 或 ClickHouse 等专用服务引擎,带来独立数据副本、管道和治理开销。文章提出实时分析应作为湖仓一体的能力,与批处理共用一份数据和一套管控,并从新鲜度、延迟、并发三个维度评估工作负载是否真正需要实时。金融、零售、制造等场景的实时需求均可由此框架判断。