跳到正文
10月16日周五
  1. Apple Machine Learning Research66

    Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理

    Apple 发布 MLX 新版本,展示在 Mac Studio 上本地运行前沿大模型:四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s,单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。

    推荐理由:Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据,可据此判断本地大模型推理的可行边界。

10月15日周四
  1. Databricks Blog22

    FactSet 如何借助 Databricks AI Runtime 将模型训练与部署从数天缩短至数小时

    FactSet 用 Databricks AI Runtime 的无服务器 GPU 基础设施运行 Text-to-Formula 模型的微调,将模型搭建、训练到部署的周期从数天缩短至数小时。其 TTF 系统此前基于 RAG,后引入微调开源模型,端到端延迟降低约 60%,如今每两到三周微调一次模型,并已使用 Llama 系列模型。

  2. NVIDIA Newsroom74

    NVIDIA 扩展 Nemotron 家族,发布 Nemotron 3.5 Super VL 与 Bolt 系列模型

    NVIDIA 发布开放模型 Nemotron 3.5 Super VL,1200 亿参数,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放权重模型,并列出各行业后训练案例,可据此判断开放模型在企业智能体部署中的位置。

10月14日周三
10月13日周二
  1. vLLM Blog62

    vLLM 引入双向 KV 传输,多轮智能体负载 TTFT 最高降低 3.3 倍

    vLLM 新增双向 KV 传输能力,让 decode 节点把已计算的 KV 块回传给 prefill 节点,避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中,最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍,zai-org/GLM-5-FP8 降低约 3.3 倍。

    推荐理由:原文给出双向 KV 传输的架构、可调参数与复现步骤,读者可据此评估多轮智能体场景下的 TTFT 收益。

10月11日周日
  1. Tessl Blog36

    Mozilla.ai 谈智能体需要共享知识库:cq 项目如何让经验可复用

    Mozilla.ai 在 AI Native DevCon London 上介绍了 cq 项目,其基本单元是知识单元:智能体遇到非显而易见的问题并找到解法后,将领域、洞察和采取的动作结构化提交,经审核后可被其他智能体查询复用。cq 默认本地运行,使用本地 SQLite 数据库,数据无需离开本机,也可连接远程服务器构建团队级知识库。

10月10日周六
10月9日周五
10月8日周四
10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,将文本、代码、图像、视频和音频映射到统一嵌入空间,基于 Gemma 4 架构,采用 Apache 2.0 许可,参数量 7.4 亿。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。

10月6日周二
10月5日周一
  1. Together AI Blog62

    Together AI 发布 Together Link,把开源模型接入现有编码智能体

    Together AI 发布 Together Link,可将团队已在用的编码智能体接入其开源模型,官方称可降低超过 50% 的开销。该工具支持 Claude Code、Claude Desktop、Codex(ChatGPT 应用与 CLI)、OpenCode 和 Pi,设置与登录保持不变,一条命令即可安装并随时切回原生闭源模型。

    推荐理由:官方给出接入命令、路由规则与按会话计费对比,可据此估算团队编码智能体的成本变化。

10月3日周六
10月2日周五
10月1日周四
  1. Comfy Blog65

    Comfy API 上线:把 ComfyUI 工作流部署为生产 API

    Comfy 宣布 Comfy API 正式上线,付费 Comfy 套餐用户可把 ComfyUI 工作流打包成自动扩缩的 API 端点。Build 会记录工作流所需的 ComfyUI 版本、自定义节点、模型和 Python 依赖,再切出不可变 release 部署为独立 URL 的托管端点,测试环境与线上环境一致。

    推荐理由:Comfy API 把 ComfyUI 工作流连同自定义节点、模型和依赖打包成可自动扩缩的端点,读者可据此判断自建部署与托管方案的取舍。

9月29日周二
9月20日周日
9月18日周五
9月17日周四
  1. Sakana AI Blog34

    Sakana AI 成立前沿智能研究组 FIG,探索 Transformer 之外的新范式

    Sakana AI 宣布成立前沿智能研究组 FIG,主张智能尚未"解决",应主动探索替代当前主流范式(扩大 Transformer 架构的数据与算力)的路径。FIG 由 CTO、Transformer 发明者之一 Llion Jones 等人推动,强调研究自由、允许失败与"伟大无法被计划"等原则,并关注模型幻觉、面对全新情境失效及能耗等现有系统的基本问题。

9月16日周三
  1. Together AI Blog22

    如何从闭源模型迁移到开源模型:Together 的迁移策略

    Together 给出从闭源模型迁移到开源模型的策略,整体迁移周期可从数月到数年缩短至数周到数月。流程分三步:先按用例和负载筛选候选模型,参考 FrontierCode、DeepSWE、Terminal Bench 4、LMArena、τ-bench 等基准,并关注每任务成本、token 消耗与端到端时延;再用真实流量回放评估准确率与性能;最后做适配。

9月15日周二
  1. vLLM Blog62

    vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型

    vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型,在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user,并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。

    推荐理由:vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案,含 Mooncake 跨节点隐藏态传输与部署命令。

9月11日周五
  1. Together AI Blog62

    Together AI 扩展微调服务,新增模型、实时指标与更细粒度控制

    Together AI 扩展 Fine-Tuning 服务,新增 GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash、Qwen 3.5/3.6/3.8、Gemma 4 等开源权重模型支持,并加入实时实验指标、专家层 LoRA、早停、任意 batch size、数据预览与样本权重等控制项。

    推荐理由:原文给出微调全流程的可见性与控制项,读者可据此判断训练实验与部署环节的改动方向。