Together AI 推出 Together Post-Training 后训练服务

我们推出 Together Post-Training，这是一项在我们平台上构建自定义模型的新服务——既支持通过 RL 从环境奖励中学习，也支持通过 SFT 利用监督数据。该服务旨在让你灵活、高效地塑造模型，而无需承担沉重的基础设施负担。

Together Post-Training 让定义训练循环变得简单，同时我们在底层协同优化系统与基础设施，以兼顾模型质量和训练速度。如今，你与那个独一无二属于你的最佳模型之间再无阻碍。

自定义模型的价值

到 2026 年，为你的 AI 工作负载训练自定义模型已不再是小众话题。企业正积极探索这一方向，以降低成本并提升特定任务的表现。许多 AI 原生和 AI 前沿组织不再通过上下文或 harness 工程来修正模型行为、提升效率，而是训练专家型智能体，以极低的成本和运行时间达到前沿模型的质量水平。除此之外，自行训练模型还能带来更强的自主权和灵活性：得到的检查点可以部署在任何位置、进一步精调，甚至可在本地使用。

在 Together，我们希望赋能每一位 AI 开发者，以尽可能便捷的方式获得最适合其任务的最佳模型。对优秀模型进行后训练，需要在数据整理、训练算法和评估协议上反复迭代。此外，RL 的基础设施正变得日益复杂，“效率优化”与“拖慢你运行的隐蔽 bug”之间往往只有一线之隔。可靠且大规模地对大模型进行后训练，本身也带来一系列挑战。

前沿实验室有完整的团队分别解决上述每一个问题。由于一次性应对所有挑战需要巨大投入，许多本可从后训练中受益的公司从未开始，或者开始后便停滞不前。Together Post-Training 在不干扰你的前提下处理所有优化和基础设施，我们的前置部署团队还会与客户合作，协助端到端工作流。这让每一位研究员或领域专家都能专注于自己最擅长的事，其余的交给我们。

Together Post-Training 概览

随着后训练的复杂性不断演进，围绕它的工具也应随之进化。Together Post-Training 提供了一套 ML 开发者熟悉的通用抽象，以及对每次实验所用资源的控制，同时确保底层所有计算快速、经济，最重要的是正确。

我们构建该服务，旨在为你的实验提供最高程度的灵活性。你可以运行 LoRA 训练，包括多个 LoRA 适配器共享同一 GPU 容量，也可对部分模型进行全权重实验。与我们的微调服务不同，Together Post-Training 的整个训练循环由你定义。你可以使用最适合自身设置的任何数据、环境或智能体 harness，并在训练过程中添加任何所需步骤（如日志记录或外部基准测试）。完整工作流如下：

所有实验都在 Model Resources 上运行——这些 GPU 分配完全归你所有，无需与其他人的请求争夺优先级。每个 Model Resource 可以承载一个或多个 Training Session，每个 Session 对应一个使用相同基础模型的单一实验（例如一组 LoRA 适配器）。这意味着你能获得最佳的 rollout 和训练性能，因为永远不必与其他用户在同一硬件上执行的请求竞争。同时，专属 GPU 分配意味着你可以运行全权重微调，在适配大型知识密集型任务时超越 LoRA。

分配好模型资源并启动 session 后，你就可以执行训练循环的每一步。每个 session 包含一个 Trainer 实例，负责运行前向/反向步骤并更新权重，以及若干 Generator 实例，用于从策略执行 rollout。对于每个模型，我们都对训练和 rollout 性能进行了深度优化，确保所有操作快速且在各技术栈之间数值一致。在 SFT 的情况下，你可以启动一个包含 0 个 generator 的模型资源以节省成本。由你决定在哪个时间点将 trainer 参数发送给 generator；我们还支持异步 RL，以始终保持两个组件的高 GPU 利用率，尤其是在长时间 agentic rollout 时。

我们支持多种标准损失（从交叉熵和 GRPO 到 CISPO 和 DPPO），同时也允许在本地计算自定义训练目标，并将其梯度发送给 Trainer 以计算更新。

Together Post-Training 上线时提供一系列领先的开源权重模型，包括 Muse Spark Open、GLM 5.3、Kimi K3 和 Qwen 3.8-27B。我们将在未来几周内扩大选择范围，确保你既能使用能力最强的前沿 LLM，也能使用高效的小型模型。

质量、性能与效率

将后训练基础设施的内部实现委托出去可能是一个令人望而生畏的决定。我们的团队在捕捉复杂机器学习系统中的隐蔽 bug 方面拥有第一手经验，从推动 RL 研究前沿到训练已服务数百万用户的 LLM。我们深知最好的训练栈就是能让你获得最佳模型的训练栈，而构建这样的基础设施需要在所有组件之间进行细致的实现与协同设计。

出于这些原因，我们在开发该服务时将输出模型的质量作为北极星指标。影响 RL 结果的一个著名问题例子是训练引擎与推理引擎之间的对齐：如果相同的模型权重由于数值不匹配而产生略有不同的输出，整个运行可能表现不佳甚至崩溃。我们消除了训练与推理之间众多策略漂移的来源，既使用了 Rollout Routing Replay 等标准技术，也使用了由我们在训练稳定性方面的研究驱动的先进优化。

除了模型质量之外，我们还努力让每次运行尽可能快速和高效，因为后训练需要多次迭代：一次运行完成得越快、成本越低，你能测试的想法就越多。RL 中的大部分时间都花在生成 rollout 上，这让我们能够利用 Together 推理产品背后多年的研究和工程积累。我们的 rollout 引擎采用了与服务栈相同的优化。对于多轮智能体，智能缓存和路由可最大限度地减少冗余计算，同时保持内存成本可控。在训练方面，优化的并行和序列打包可加速 SFT 和 RL 步骤。

借助 Together Post-Training，你可以按每次实验的实际需求来配置规模，而无需多付费用。如果你的实验受限于 rollout 并发，你可以请求精确数量的采样器副本。多个 LoRA 实验可以共享一个模型资源，因此运行一轮扫描并不意味着要为每个配置预留更多 GPU。我们按 GPU-分钟对每个模型资源计费，但得益于我们对专用和多 LoRA 服务栈的诸多优化，一旦你扩大实验规模，训练的总成本就会低于基于 token 的定价。

训练后的优化部署

当后训练实验完成后，可能需要将每个生成的模型并排运行以比较它们的输出。我们现在在 Dedicated Model Inference 中支持多 LoRA 适配器服务：无需为每次运行启动单独的生产部署，你可以在单个 GPU 部署中按需切换适配器，从而帮助降低服务成本。

最后，将模型转换为以最高吞吐量在生产中运行，意味着它可能以更低的精度、在不同的硬件配置下，以及与 rollout 生成不同的内核来执行。通过算法和系统改进的结合，我们确保每个训练检查点在服务中保持质量，即使从多 LoRA 采样切换到完全高性能的FP4 精度合并推理。

开始使用

要开始你的第一个后训练实验，请安装最新的 Together SDK 并阅读文档。我们还提供了一系列 cookbook，可帮助你开始使用 Together Post-Training，可在 github.com/togethercomputer/post-training-cookbook 获取。这些 cookbook 提供了在标准 GSM8K 基准上使用 GRPO 训练、将 DPO 实现为自定义损失，或在同一模型资源内训练多个 LoRA 适配器的示例。如果你已有使用 Tinker API 等后训练服务的设置，我们还提供了一种简单的迁移方式。你可以替换脚本中的一行，其他一切保持不变：

-import tinker
+import together.post_training.tinker as tinker

阅读我们的Tinker 迁移指南以了解更多。

AI 原生公司如今如何使用 Together Post-Training

在此次发布之前，我们与一组精选的组织合作，他们正在推动自定义模型的前沿。在过去几个月中，我们授予他们提前访问我们服务的权限；我们收到的反馈对开发这款如今人人可用的产品非常宝贵。听听这些团队自己怎么说：

“从第一天起，我们与 Together Post-Training 平台的合作体验就非常出色。高度的控制力和灵活性让我们在几个小时内就启动了真实的强化学习实验。该服务非常高效，使我们能够在同一份 GPU 容量上同时运行多达五个强化学习实验。在整个训练过程中，Together 研究团队都是极佳的合作伙伴，在模型选择、训练技术、奖励函数和训练效率方面为我们提供了反馈。”

– Anthony Li，数据科学副总监，Deel

“在 Jack & Jill，我们构建了两个 AI 智能体：面向专业人士的 Jack，以及面向企业的 Jill，后者从 Jack 的网络中招募已同意接受引荐的专业人士。我们使用 Together Post-Training 对一个模型进行后训练，用于预测招聘经理希望会见哪些候选人，这是 Jill 搜索流程中的核心一步。上手过程很简单，他们的团队帮助设计了我们的实验，他们的前置部署工程师编写了脚本，帮助我们取得了初步结果。在离线评估中，我们使用一个服务成本显著更低的开源模型，达到了与某个闭源模型相当的质量。”

– Oliver Normand，创始工程师，Jack & Jill

“自 Together 于 4 月推出 Post-Training 测试版以来，我们一直与其团队合作。在最新版本中，无缝的自助上手流程让我们能够快速启动全规模的智能体强化学习运行。事实证明，Post-Training 服务在扩展复杂智能体工作负载方面极其直观、灵活且强大。”

– Adit Jain，研究员，Collinear AI

使用 Together Post-Training 构建

随着 Together Post-Training 的发布，我们正将前沿级模型定制转变为一项可靠、灵活且高效的服务。下一步就是让你充分利用它。在最初的八周内，我们以每 GPU 小时 B200 使用量 9 美元的优惠价格提供 Together Post-Training。立即了解如何开始使用——我们期待看到你将构建出什么。

但你不必独自完成这一切。对于希望寻找合作伙伴的公司，我们的前置部署工程师会在整个后训练生命周期中与你的团队并肩工作。他们会首先帮助为你的用例选择合适的开源模型和智能体框架，与你一起处理数据和训练环境，然后协助评估并交付你自己优化的端点。

如果你希望与 Together 合作，为你的组织训练模型，欢迎联系我们。