Amazon 与 Booking.com 用知识蒸馏加 Medusa 加速旅行 LLM

Amazon Science·2026-10-30 00:51· 1 小时前AI 评分44

加速面向旅行应用的语言模型

AI 导读

Amazon 与 Booking.com 将知识蒸馏与 Medusa 结合，把 70B 的 Llama-3.1 教师模型能力迁移到 1.1B 的 TinyLlama 学生模型，在保持最佳开源 LLM 质量的同时成本降至不到三分之一、速度最高提升 20 倍。

正文 · 原文

旅行平台每天通过回答关于目的地的问题、提供酒店推荐以及帮助用户规划行程，为数百万用户提供服务。近年来，许多平台转向使用大语言模型（LLM）来改进这些服务。得益于其规模——通常拥有数百亿参数——这些 LLM 能够给出准确且与上下文相关的旅行建议。然而，如此庞大的模型计算成本高昂，且该成本会随客户查询数量的增加而增长。此外，这类大模型对于网页和移动应用而言可能过慢，即使 100 毫秒的延迟也可能让公司损失客户和收入。为应对这些扩展性和延迟挑战，我们探索了两种互补的优化技术。一种是称为知识蒸馏（KD）的压缩技术，即由运行缓慢但能力强大的模型为更快、更轻量的模型生成训练目标。另一种称为 Medusa，是一个将顺序的下一词元预测——LLM 中常见的瓶颈——转化为并行计算的框架。我们与领先的在线旅行社 Booking.com 合作，将 KD 和 Medusa 技术应用于支撑其用户体验各个方面的 LLM，旨在改善延迟或成本效益。我们特别关注了三个功能：AI 旅行规划器：一个对话式助手，必须在不到一秒内从对话中提取旅行偏好（延迟）；智能筛选器：一个将自然语言搜索查询实时转换为结构化信息筛选器的功能（延迟）；住宿描述生成：一个以数百万房源规模生成房源描述的功能（成本效益）。我们证明，将 KD 与 Medusa 结合，能够在不到三分之一成本的情况下保持最佳开源 LLM 的质量，同时运行速度最高提升至 20 倍。我们的框架确保旅行平台或其他依赖 LLM 的应用能够在真实场景中提供快速、高性价比且准确的响应。我们在去年计算语言学协会（ACL）年会上展示了这些技术，并获得了工业赛道最佳论文奖。我们的方法：Medusa 加知识蒸馏 Medusa 是一个旨在降低聊天和代码生成等实时应用中 LLM 延迟的框架。它在运行时——推理时——而非训练期间提升计算效率。通常，LLM 一次生成一个词元——单词或单词片段。Medusa 通过并行预测多个词元来加速这一过程。Medusa 通过在基础 LLM 上添加称为 Medusa 头的预测模块来实现这一点，每个并行解码的词元对应一个头。LLM 所运行的 GPU 硬件针对并行性进行了优化，因此能够以极小的额外开销处理并行词元解码。Medusa 可带来显著加速，通常为 2 至 4 倍，且不损害生成质量。知识蒸馏通过将知识从更大的“教师”模型迁移到更小的“学生”模型，来解决大型、参数密集型模型的部署挑战。通常，教师模型首先在高质量标注数据上进行训练或微调，然后用于在额外的未标注数据上生成预测。随后，将人工标注和机器标注的数据结合起来训练一个更小的学生模型，该模型学习模仿教师的行为。学生模型保留了教师的大部分性能，但效率显著更高，使其更适合高流量消费级网站等真实场景。在我们的工作中，我们将 KD 和 Medusa 集成到一个统一的流水线中，从预训练基础模型开始。与标准 KD 一样，我们在标注数据集上微调教师模型，并用其在未标注的领域相关文本上生成预测。然而，在学生训练阶段，我们将 Medusa 头附加到学生模型上，并在教师预测与标注数据组成的合并语料上训练它。这样便产生了一个单一的紧凑模型，它继承了教师的知识，同时获得了多词元预测能力。实验 我们选择 TinyLlama——一个拥有 11 亿参数的紧凑模型——作为学生模型，选择拥有 700 亿参数的 Llama-3.1 作为教师模型。我们进行了四次渐进式实验，每次都在前一次的基础上构建。首先，我们针对三个用例——AI 旅行规划、智能筛选和住宿描述生成——分别在任务特定数据上微调 TinyLlama。即使没有进一步优化，微调后的模型也显著比少样本 GPT-4o 更准确，这证实了领域特定的微调弥补了其紧凑的规模。然而，它们的性能仍不及大得多的教师模型。应用知识蒸馏——在人工标注和教师标注数据的混合上训练学生模型——将这一差距缩小了 90% 以上，使小模型接近与教师持平。更小的模型规模还使推理速度大约提升至 6 倍，但这对于实时使用仍然不够快。然而，添加 Medusa 头又将推理速度额外提升了 2 至 3.6 倍。我们测试了两种 Medusa 变体：使用 Medusa-1 时，我们先微调基础 LLM，然后冻结其权重并单独微调 Medusa 头；使用 Medusa-2 时，我们在单个阶段中训练所有内容。两者都实现了相当的加速且没有明显的质量损失，但 Medusa-2 更简单的流水线使其对管理多个模型的生产团队更为实用。成果 将 KD 与 Medusa-2 结合同时带来了两方面收益：我们的最终模型在质量上匹配 700 亿参数的教师模型，同时运行速度提升 10 至 20 倍，具体取决于用例。对于三个用例中的每一个，我们都使用上述流水线，以领域特定数据微调了一个专用模型。对于 AI 旅行规划器，我们展示了用户参与度相比 GPT-3.5 提升 2.9%。对于智能筛选器，我们实现了 99% 的查询响应速度提升至 15 倍。对于 AI 生成的住宿描述，我们展示了用户“有帮助”评分增加 1.4%，而成本不到 GPT-4 的三分之一。感谢我们的 AWS 同事 Aleksandra Dokic 以及 Booking.com 团队：Emmanouil Stergiadis、Eran Fainman、Ilya Gusev 和 Moran Beladev。

来源：Amazon Science · amazon.science