Baseten 推出自动扩缩容计划，提前扩容降低冷启动延迟

Baseten 工程博客·2026-10-31 00:51· 33 分钟前AI 评分40

自动扩缩容计划：为可预测的流量减少冷启动延迟

AI 导读

Baseten 上线自动扩缩容计划（Autoscaling schedules），可在预期流量到来前提高最小副本数，减少冷启动延迟。每个环境最多配置 10 个计划，支持每日、每小时或一次性时间窗口，窗口不可重叠且至少持续 5 分钟，可通过 dashboard、CLI 或 Management API 设置。

正文 · 原文

TL;DR

自动扩缩容计划通过在可预测的流量到来前提高最小副本数，减少冷启动延迟。你可以将计划设置为重复执行（例如工作日早晨）或仅执行一次（例如产品发布前）。通过 dashboard、CLI 或 Management API，每个环境最多可配置 10 个计划。

自动扩缩容会调整副本数量以匹配传入流量。当需求增加时，新副本需要一段时间才能处理请求。这就是它们的冷启动时间，其中包括分配计算资源、启动服务软件和加载模型。在冷启动期间等待的请求会有更长的端到端响应时间。⁠

自动扩缩容计划通过在流量到来前启动额外副本，帮助避免冷启动延迟。你可以将计划设置为重复执行（例如每个工作日早晨）或仅执行一次（例如发布前）。

围绕需求安排自动扩缩容

许多工作负载具有可预测的流量。自动扩缩容计划让你可以在设定时间更改自动扩缩容设置，因此无需维护外部 cron 任务来完成此操作。

重复性峰值：在工作时间提高最小副本数，在夜间降低。例如，会议转录应用可以在会议开始前扩容，在峰值过后缩容。
计划性事件：为产品发布、负载测试或迁移到新部署安排临时容量增加。

Illustrative example: starting additional replicas before an expected traffic surge can help keep end-to-end response times consistent as request volume increases. 示例：在预期流量激增前启动额外副本，有助于在请求量增加时保持端到端响应时间一致。

自动扩缩容计划如何工作

每个计划设置一个时间窗口以及该窗口的最小和最大副本数。最小值设定自动扩缩容器在窗口期间保持运行的最低副本数。最大值限制自动扩缩容器可运行的总副本数。当没有活动计划时，环境使用其默认设置。

要配置计划：

每个环境最多创建 10 个计划，全部使用同一个共享时区。
选择每日、每小时或一次性窗口。窗口不能重叠，且必须至少持续五分钟。
使用 dashboard、CLI 或 Management API。

Two autoscaling schedules for a production environment. Baseten UI 示例：生产环境的两个自动扩缩容计划。

开始使用

在预期流量到来前启动副本，以减少冷启动延迟。按照设置指南通过 dashboard、CLI 或 Management API 配置计划，或与我们的工程师交流你的工作负载。

来源：Baseten 工程博客 · baseten.co