Together AI 扩展微调服务，新增模型、实时指标与更细粒度控制

将开放权重模型转化为适合你任务的高性能模型，需要一系列精心衡量的实验。团队需要了解模型将基于什么数据训练、跟踪每次运行的进展、调整训练配方，并确定哪个检查点表现最佳。

今天，我们正在整个工作流中扩展 Together Fine-Tuning。本次发布增加了对最新开放权重模型的支持、实时实验跟踪、对训练和数据处理的更精细控制，以及部分模型的更低价格。

你还可以在训练前检查和验证数据集，在运行进行中比较多次运行，并在验证损失趋于平稳时停止。

新模型

新的开放权重模型正以前所未有的速度涌现，几乎每一次发布都在提升质量、效率或两者兼有。团队希望快速将这些进步投入生产，而不必在每个新架构的技术挑战上花费数周时间。

对于需要前沿性能的任务，你可以求助于最大最强的模型，如 GLM-5.3 和 Kimi K2.7。例如，GLM-5.3 在 Terminal-Bench 2.1 上得分 88.2，与领先的专有模型仅差一分。其他团队优先考虑性能和成本，选择 Qwen 3.8-27B 或 Gemma 4 等模型。对于本地和设备端应用，Qwen 3.5 系列提供从 0.8B 到 9B 参数不等的选项。

Together Fine-Tuning 支持所有这些模型，覆盖广泛规模，并内置了系统和算法方面的领先优化。提交训练任务，我们会在后台处理特定架构的复杂性。最新新增包括：

• GLM 5.3
• GLM-5.2
• GLM-5.1
• DeepSeek-V4-Flash-0731
• DeepSeek-V4-Flash
• Kimi K2.7-Code
• Kimi K2.6
• Qwen 3.8-27B
• Qwen 3.6-35B-A3B
• Qwen 3.6-27B
• Qwen 3.5-27B
• Qwen 3.5-9B
• Qwen 3.5-4B
• Qwen 3.5-2B
• Qwen 3.5-0.8B
• Gemma 4-31B
• Gemma 4-26B-A4B

在我们的文档中查看支持模型的完整列表及其上下文长度。

实验跟踪

运行的轨迹越早可见，就能越早做出下一个决定——调整数据、更改超参数，或让它完成。微调任务现在会在每个训练和评估步骤记录指标，并直接通过 Together API、CLI 和 UI 仪表板公开这些指标。指标、任务状态和产物都集中在一处，因此你可以在整个模型开发过程中留在同一平台上。

每次运行都会捕获核心训练信号：损失、梯度范数、学习率。当你添加验证集时，评估损失和指标将与训练指标一起被跟踪。

在仪表板中，每个任务都有一个 Metrics 标签页，其中的曲线在运行仍在进行时就会更新——你可以选择多个任务并将它们绘制在同一组坐标轴上，这样一次扫描呈现为一张图，而不是十几个浏览器标签页。你也可以通过我们的 Python SDK 做到同样的事情：一条命令，终端中显示曲线，无需切换上下文。

API 返回底层序列——每个记录的步骤，可按范围过滤或降采样。这样，你可以将指标拉取到 notebook、你已有的内部仪表板或任何其他目的地。

在我们的文档中查看更多细节。

对训练的更多控制

Expert LoRA

在混合专家（Mixture-of-Experts）模型中，超过 90% 的参数，以及模型实际掌握的大部分知识，都存在于专家层中。标准的 LoRA 微调从不触及这些层：适配器附加在注意力层上，而专家层保持冻结。现在你可以把 LoRA 适配器直接放到专家层上，这样你的任务就能训练那些承载知识的层。

这种差异在任何需要模型学习真正新知识的任务上都会显现出来。我们让模型学习了 200 条虚构事实（因此基础模型对它们一无所知）：包含专家层的适配器能回忆起多达 89% 的新知识，而仅作用于注意力层的适配器在同一模型上最高只能达到 15%。它们还更好地保留了模型已有的知识，并在 MMLU-Pro 上以 75.3% 对 71.5% 直接胜出。

训练动态解释了这一差距：使用仅作用于注意力层的适配器时，越来越多的被路由专家在微调过程中逐渐不再被使用，而专家适配器则让整个混合体保持参与。

启用专家适配器很简单：只需将专家模块添加到 lora_trainable_modules 中。其余微调工作流与任何其他 LoRA 任务完全相同。

早停

微调任务现在可以在不再改善时自动结束。这意味着你能得到最好的模型，而不只是最后一个模型，并且无需为不再有帮助的训练付费。启用早停，提供一个验证集，我们会在每次评估时监控你的验证损失。当曲线趋于平稳时，我们会停止运行，保留验证损失最佳的检查点作为你的最终模型，并自动退还你未使用的每一个训练步。

当你需要更精细的控制时，耐心值、对小幅改善的敏感度以及预热都可以调整。完整的参数参考见文档。

任意批量大小支持

有些任务需要的批量大小无法装入 GPU 内存：长序列、大模型，或为超大全局批量调优的配方。现在你可以使用任意有效批量大小进行训练，无论单次前向能容纳多少。设置 gradient_accumulation_steps，梯度会在每次优化器更新前跨微批量累积，从而得到 batch_size x gradient_accumulation_steps 的有效批量。详情见文档。

降价

在 Together，我们相信智能应当充裕丰富，我们利用所有可用的系统和算法优化，为客户提供最大价值。我们持续优化训练栈，并希望将任何成本降低传递给用户。因此，我们下调了所支持的大多数模型的训练价格，节省幅度从 30% 起，对于 gpt-oss 系列等模型最高可达 70%。

以下是每 100 万 token 训练 LoRA 适配器的一些价格变化：

完整价格表可在我们的定价页面查看。

案例研究：Adaption 如何在 Together 上为高达 1T 的开源模型自动化训练

Adaption 是一家前沿 AI 研究公司，致力于构建能够持续学习的智能，通过实时数据和环境不断演进，而非依赖静态训练和昂贵的重训练循环。其研究涵盖三大支柱：

1. 自适应数据（Adaptive Data），大规模塑造数据
2. 自适应智能（Adaptive Intelligence），跨行业和语言演进模型
3. 自适应界面（Adaptive Interfaces），重新构想人机交互

AutoScientist 是 Adaptive Intelligence 的一部分，它自动化了模型训练背后的完整研究循环。Adaptive Data 塑造输入，而 AutoScientist 塑造模型本身：你设定目标结果，循环便会搜索训练配方、优化数据、训练并评估，在这四个环节中循环往复，而不是默认使用通用的超参数。

它会在每次运行中不断优化自己的选择，直到质量收敛到你的目标。它支持 LoRA 和全量微调，覆盖参数规模高达 1T 的领先开源模型，训练由 Together 的微调平台提供支持，评估则在 Together 的专用端点上运行。最终形成一个闭环，持续改进模型，而无需原本所需的人工投入或重新训练成本。

"我们与 Together 合作，以高达 1 万亿参数的模型运行 Adaption 的 AutoScientist 完整自我改进训练循环。这使我们能够通过可靠交付的工具，为全球公司大规模提供自我改进的智能。" - Sara Hooker，Adaption 联合创始人

灵活且透明的数据处理

检查分词后的数据

此前，数据处理在微调任务内部如同黑盒运行：你无法看到数据是如何被分词和打包的。当结果与预期不符时——聊天模板的应用方式与你设想的不同、标签在错误的位置被掩码、行被静默截断——你会遇到质量下降，却很难追溯到原因。

现在你可以在启动任务前检查分词后的数据。预览任何已上传文件中的行，使用你即将微调的基础模型的确切分词器和聊天模板进行分词，并准确查看训练将消费的内容：token ID、token 字符串、逐 token 标签、对损失有贡献的片段，以及该行是否在模型的最大序列长度处被截断。预览只需几秒即可运行。

你还可以检查训练循环实际消费了什么。现在每个微调任务都会公开其完全准备好的数据集的一个子集——分词、打包和整理的方式与训练器接收到的完全一致。它可通过 Python SDK 以及控制台中任务页面上的下载链接获取。

在文档中了解更多关于数据集预览的内容。

样本权重

并非每个训练样本都应得到相同的对待。现代数据集通常混合了多个来源和领域——人工标注数据与合成数据并存，一个领域与另一个领域并存——但默认情况下，每个样本对训练的影响都相同，无论其质量或重要性如何。

Together Fine-Tuning 现在支持逐样本加权，让你能够精确控制每个数据点的影响。在你的 JSONL 文件中为任意样本添加一个 weight 字段，训练便会相应地缩放该样本对损失的贡献。权重适用于所有受支持的 JSONL 数据格式和所有训练方法。

在我们的文档中阅读更多关于样本权重的内容。

预检文件验证

数据集验证过去在训练任务内部运行。如果你文件的第 59,000 行有一个格式错误的工具调用，你会在任务已经排队、调度并启动之后才发现——等待数分钟才得知一个拼写错误。

现在，只要你的微调 JSONL 文件上传完成，就会立即启动完整的服务端检查，结果会直接显示在文件对象上，因此你甚至可以在创建任务之前就发现任何问题。检查覆盖完整的 schema：消息结构和角色、工具定义以及工具调用/响应的配对、推理字段、多模态内容和图像解码、偏好对结构，以及样本权重类型和范围——并在错误消息中给出有问题的样本索引。

验证成功时还会报告我们检测到的关于你数据的信息——数据集格式、行数，以及它是否包含样本权重、消息权重、工具、并行工具调用、推理轨迹或图像——这样你就能确认平台是按照你的本意读取数据集的。

阅读更多关于预检文件验证的内容。

打包控制

序列打包是一种将多个序列拼接成单个序列的技术，以避免在填充 token 上浪费计算。它能大幅提升吞吐量并缩短训练时间，因此在 Together Fine-Tuning 中默认启用。尽管有这些效率优势，它并不总是正确的选择：在数据集较小时，打包可能导致每个 epoch 的优化步数过少。

现在你可以完全控制序列打包：用一个标志将其完全禁用，或在预分词数据格式中使用 position_ids 来设置你想要的打包程度。

如需了解更多信息，请阅读我们的文档。

即将推出：从微调到推理的更快捷路径

每个中间 LoRA 适配器都将在微调仍在进行时即可部署。你不必等待整个训练任务完成，而是可以在任务开始后不久就开始评估结果，每次迭代可节省数小时甚至数天。一旦第一个适配器被保存，你就可以通过 Dedicated Model Inference 部署它，或在 Multi-LoRA 设置中将其挂载到已运行的端点上，从而避免为每个实验单独创建端点所带来的成本和启动时间。

初期计划支持 GLM-5.3，随后是 Kimi K3。随着新工作流临近发布，我们将分享可用性详情、支持模型的完整列表以及完整的 API 操作指南。

结论

Together Fine-Tuning 现在让你对整个实验周期拥有更多可见性和控制力，从模型看到的数据到你部署的检查点。你可以在运行前验证数据集，在训练过程中跟踪和比较指标，并通过更精细的控制来调整配方。

对最新开放权重模型的支持以及部分模型的价格下调，使得在新模型到来时更容易重复这一循环。

-> 开始微调
-> 阅读微调文档