FactSet 如何借助 Databricks AI Runtime 将模型训练与部署从数天缩短至数小时

FactSet 的 Text-to-Formula（TTF）系统承担着一项看似简单实则困难的任务：将投资专业人士的自然语言请求转换为正确的 FactSet Query Language（FQL）公式。

FactSet 最初围绕检索增强生成（RAG）构建 TTF，利用检索为给定请求查找相关示例和信息。但随着使用量增长，查询变得更加专业化，公式也更加复杂；这种方法触及了质量天花板。FactSet 开始将微调后的开源模型纳入其 Compound AI 架构，使团队能够基于 FQL 的结构和模式训练模型，而不是在推理时主要依赖检索。在 TTF 的早期工作中，FactSet 发现引入微调模型将端到端延迟降低了约 60%。

随着系统演进，微调的角色也发生了变化。FactSet 积累了更多训练数据，并开始定期更新模型，将原本的实验性工作流转变为 TTF 开发中反复进行的常规环节。如今，团队大约每两到三周对模型进行一次微调。

当微调成为发布周期的一部分

每隔几周训练一次改变了基础设施需求。为偶尔的实验准备环境并配置 GPU 计算或许尚可应付。但每当有新数据或新模型需要测试时都要重复这项工作，就会给开发周期直接增加额外开销。

模型需求也可能在每次实验之间发生变化。FactSet 曾使用基于 Llama 的模型，并持续评估更新的开源模型。不同的模型、提示长度和输出特征可能需要不同的计算配置，因此将训练环境绑定到固定的 GPU 设置会使团队在实验时更难适应变化。

FactSet 使用 Databricks AI Runtime 在无服务器 GPU 基础设施上运行这些微调工作负载。工程师可以根据特定训练运行的需求选择计算资源，而无需预先配置底层 GPU 环境。

将训练保留在开发循环中

TTF 的训练工作流还与已在 Databricks 上运行的数据、实验、模型管理和治理并存。FactSet 使用 MLflow 跟踪模型开发和实验，而其底层数据仍在现有的 Lakehouse 环境中受到治理。

使用 AI Runtime 运行微调，将 GPU 训练保留在该工作流内。工程师可以处理受治理的数据、训练新模型、跟踪生成的产物，并推进部署，而无需为微调维护单独的 GPU 堆栈。对 FactSet 而言，这将设置、训练和部署自定义 TTF 模型所需的时间从数天缩短到了数小时。

Databricks 的 AI Runtime 极大地简化了训练自定义 Text To Formula（TTF）模型的过程。无需搭建基础设施，也没有延迟，可以轻松根据提示大小和输出 token 生成量选择合适的计算资源。这让我们能够快速推进，保持 Lakehouse 工作流，并交付具有完整治理的高质量模型，将模型的设置、训练和部署时间从数天缩短到数小时。—Nikhil Sunderraj，FactSet Research Systems, Inc. 首席机器学习工程师

为不断变化的模型而构建

从一开始，更换模型的能力就是 TTF 演进的一部分。高级 RAG，尤其是仅依赖外部托管的模型，随着使用量的增长和公式复杂度的提高，会成为持续准确性和延迟的瓶颈。RAG 在系统遇到更复杂的公式之前一直有效。经过微调的开源模型为 FactSet 提供了另一种提高质量和降低延迟的方法。如今，随着更新的模型不断出现，团队可以针对工作负载对它们进行评估，而不是将当前的模型选择视为永久性的。

TTF 本身正变得越来越专业化。随着 FactSet 积累更多数据，团队正在探索用于查询分解、组件提取和库识别等任务的额外微调模型。这创造了更多机会，可以为工作流的每个部分使用最合适的模型，但也使快速、可重复的训练变得更加重要。

当模型更换不需要围绕它重建训练环境时，测试起来就容易得多。通过 AI Runtime 按需提供 GPU 计算资源，工程工作转向了真正影响 TTF 的问题：使用哪个模型、如何训练它，以及生成的版本是否改进了应用。

此外，微调流水线构建在 Databricks Lakeflow Jobs 和 Pipelines 之上，作为一个 即插即用、可复用的框架——旨在以最小的设置工作量轻松应用于不同的 TTF 任务和其他团队，提供标准化的基础，减少入门阻力并加速集成。

让模型选择变得切实可行

开源模型发展迅速。今天能在质量、延迟和成本之间提供恰当平衡的模型，可能并不是团队六个月后想要的。因此，保留模型选择权需要的不仅仅是下载一组新权重的能力。周围的训练和部署工作流也必须跟上。

FactSet 在 TTF 上的经验展示了这在生产环境中的样子。随着数据和应用的演进，团队可以继续测试新的开源模型，而 AI Runtime 在其现有的 Databricks 工作流中提供无服务器 GPU 基础设施。FactSet 无需花费数天来设置、训练和部署每次迭代，而是可以在数小时内完成这一周期。

对于一个每隔几周就重新训练的系统来说，这种差异会不断累积。新数据可以更快地进入新模型，工程师可以将每次迭代的更多时间用于改进 TTF，而不是准备训练所需的基础设施。