技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
59 条精选近 30 天 54 条共收录 4,774 条
Mistral Large 4 已在 OpenRouter 开启公开预览，规格为 1T 参数（49B 激活）、原生多模态、1M 上下文，最高支持 256K 输出。前两周五折，定价为每 1M tokens 输入 $0.68、输出 $2.09，缓存 $0.07。
推荐理由：Mistral Large 4 在 OpenRouter 开启公测，1T 参数与 1M 上下文的具体规格和限时定价可供选型参考。
OpenRouter 发布对比文章，梳理 OpenAI、Anthropic、Google 及自家 openrouter:shell、openrouter:bash 四类服务端代码执行工具，模型在 API 请求内直接调用沙箱运行命令并取回输出。
推荐理由：对比四家服务端代码执行沙箱的能力、计费与安全边界，可据此判断自建还是托管。
Together AI 发布 Together Link，可将团队已在用的编码智能体接入其开源模型，官方称可降低超过 50% 的开销。该工具支持 Claude Code、Claude Desktop、Codex（ChatGPT 应用与 CLI）、OpenCode 和 Pi，设置与登录保持不变，一条命令即可安装并随时切回原生闭源模型。
推荐理由：官方给出接入命令、路由规则与按会话计费对比，可据此估算团队编码智能体的成本变化。
NVIDIA 将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发售 DGX Spark 64GB 配置，起售价 4,999 美元，保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈，支持最高 1000 亿参数模型在设备端运行。
推荐理由：原文给出 64GB 配置的定价、上市时间与双机集群扩展方式，可据此判断本地跑大模型的硬件门槛。
OpenAI 的 GPT-6 Astra Ultrafast 已在 OpenAI API 上线，并向符合条件的 ChatGPT Work 和 Codex 用户开放，运行在 NVIDIA Blackwell GPU 上。
推荐理由：原文给出 Astra Ultrafast 相对标准模式的提速幅度与开放入口，读者可据此判断它对编码智能体循环的实际影响。
Comfy 发布 Comfy Agent，现已在 Comfy Cloud 面向所有人开放，几周内将进入 Comfy Desktop。它位于 ComfyUI 内，能规划并评估技术方案、搭建工作流、修复错误、查找素材和处理技术术语，支持公开或私有技能、最多 5 个并行对话并保留完整历史。
推荐理由：官方披露了 Comfy Agent 在 ComfyUI 内的能力边界与后续本地化计划，可据此判断工作流搭建方式的变化。
OpenRouter 发布指南，介绍用置信度阈值做模型升级路由：让模型通过 structured outputs 返回 0 到 1 的数值置信度字段，低于阈值的请求再转给更强的模型。
推荐理由：OpenRouter 给出用置信度分数做模型升级路由的完整五步流程，可迁移到自己的推理成本控制中。
Comfy 宣布 Comfy API 正式上线，付费 Comfy 套餐用户可把 ComfyUI 工作流打包成自动扩缩的 API 端点。Build 会记录工作流所需的 ComfyUI 版本、自定义节点、模型和 Python 依赖，再切出不可变 release 部署为独立 URL 的托管端点，测试环境与线上环境一致。
推荐理由：Comfy API 把 ComfyUI 工作流连同自定义节点、模型和依赖打包成可自动扩缩的端点，读者可据此判断自建部署与托管方案的取舍。
vLLM 官方博客发布分离式服务实践指南，介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级，需 vLLM v0.30.0 或更高版本。
推荐理由：vLLM 官方拆解分离式服务的四层架构，给出实测数据与配置命令，可据此判断是否值得拆分。
微软研究院对移动操作机器人工作负载做了系统性测量，发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU，能提升任务成功率、支持更大的模型并延长续航。
推荐理由：微软研究院系统测量了机器人端侧 GPU 推理的瓶颈，并给出把推理卸载到边缘或云端的开源工具链，可供机器人开发者参考。
Google Private AI Compute 团队公布新的服务端持久记忆能力，让 AI 助手在跨设备场景下保留上下文，同时维持端侧级别的隐私标准。该方案把数据封存在加密存储中，解密密钥仅保存在用户个人设备上，模型需要访问时通过端到端加密通道连接受硬件保护的 secure enclave，在隔离内存中临时解密、写入新上下文后立即重新加密。
推荐理由：Google 公开了 Private AI Compute 的持久化服务端记忆方案，读者可了解云端 AI 如何在保留跨设备上下文的同时维持端侧级隐私。
Comfy 在 Comfy Developer Platform 上线 Comfy Router，开发者只需集成一次即可调用前沿图像、视频、3D 和音频模型，首日接入 Seedance 2.5、MiniMax H3、Nano Banana Pro、GPT Image 2、Kling 和 Black Forest Labs。
推荐理由：原文给出统一调用多家前沿媒体模型的接口与按任务切换供应商的方式，可据此判断多模型工作流的接入成本。
Together AI 发布 Rollout 功能，可在同一 endpoint 上把流量从源部署迁移到目标部署，提供金丝雀、蓝绿和滚动三种策略，并支持指标门禁、暂停、恢复、提升与取消。
推荐理由：原文给出金丝雀、蓝绿、滚动三种上线策略的完整机制与真实回滚演示，可迁移到自有推理服务的模型切换流程。
vllm-metal 发布，把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon，由 MLX 与 Metal 负责执行。
推荐理由：vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon，并给出与 llama.cpp、oMLX 的并发对比数据。
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由：vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案，含 Mooncake 跨节点隐藏态传输与部署命令。
Augment Code 公开其软件工厂实践，在 2025 年 11 月至 2026 年 7 月间把每位活跃开发者的规模调整后产出从 12.3 提升到 55.7，即 4.5 倍，同时 PR 中位合并时间从 11.2 小时降至 3.1 小时，14 天回滚率从 1.9% 降至 0.4%。
推荐理由：Augment 公开了软件工厂的搭建顺序与各环节智能体分工，可对照自身瓶颈判断先自动化哪一步。
Together AI 扩展 Fine-Tuning 服务，新增 GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash、Qwen 3.5/3.6/3.8、Gemma 4 等开源权重模型支持，并加入实时实验指标、专家层 LoRA、早停、任意 batch size、数据预览与样本权重等控制项。
推荐理由：原文给出微调全流程的可见性与控制项，读者可据此判断训练实验与部署环节的改动方向。
Augment 重建 Auggie CLI 的 harness，在 SWE-bench Pro 上以相同通过率完成任务花费 1.27 美元，而 Claude Code 为 2.70 美元，便宜 53%。
推荐理由：Augment 公开了 CLI harness 重写的取舍过程与 SWE-bench Pro 成本对比，可参考其工具面收窄与检索替代探索的思路。
Poolside 发布智能体编码模型 Laguna S 2.1，采用 MoE 架构，1180 亿参数、每 token 约 80 亿激活，支持最高 100 万 token 上下文，量化后可运行在单台 NVIDIA DGX Spark 上。
推荐理由：作者以预发布实测者身份记录 Laguna S 2.1 的开放权重、评测轨迹与桌面端运行方式，可据此判断本地跑多小时代码智能体的可行性。