Meta 详解 GenRecs Tokenization：用稳定语义词表改造广告推荐

Meta 工程博客·2026-10-20 00:00· 1 小时前AI 评分53

GenRecs Tokenization：用稳定模型词表变革 Meta 广告推荐

AI 导读

Meta 工程博客介绍 GenRecs Tokenization，一种用稳定语义 token 词表替代逐条目 ID 的广告推荐数据表示，配合 GEM 与 Adaptive Ranking Model 带来 +0.35% 转化提升。

正文 · 原文

生成式推荐系统（GenRecs）代表了一种范式转变：从对每条广告逐一打分，转向将广告内容与用户偏好结合起来进行推理，从而为广告主预测最佳结果。利用 LLM 内置的世界知识，广告匹配变得更加智能和精准，为广告主带来复合收益。
GenRecs Tokenization 是实现这一目标的基础数据表示。它不再为每个条目维护专属 ID，而是用来自稳定语义词表的一组 token 来表示每个条目。
配合 Meta 的生成式广告模型（GEM）和 Meta 的自适应排序模型，GenRecs Tokenization 已在各场景为广告主带来 +0.35% 的转化提升。

GenRecs 改进了 Meta 广告推荐系统当前的预测方式。GenRecs 是 Generative Recommenders 的缩写，它将我们的方法从对每个广告候选逐一打分，转变为利用 LLM 架构同时深入推理广告内容与用户偏好。通过将预训练的世界知识与对广告实际代表内容的语义理解相结合，系统超越了点击模式匹配，能够理解用户底层偏好。这使模型能够为每个人预测最相关的广告，即使展示的是没有过往商品、广告或公司互动历史的全新产品。

GenRecs Tokenization 是实现这一目标的基础数据表示。语言模型不再为世界上的每个概念维护专属 ID，而是用一个小型语义 token 词表组合表示任意概念。由于 token 描述的是条目（例如广告、商品、服务等）是什么，模型可以将从未有过互动记录的条目与它熟悉的条目关联起来。一款新发布的“越野跑鞋”会继承模型已学到的该品类知识，而不是从零开始建立一个没有信号的表示。

GenRecs Tokenization 为广告推荐引入了结构化词表方法，使 GenRecs 能够对系统中的所有条目类型（包括广告、商品、页面和像素）进行检索和排序。

Meta 最先进的广告推荐系统通过了解各个条目及其表现，持续推动广告主效果提升。LLM 为通过语义 tokenization 在多个广告用例中进一步提升推荐系统效果提供了独特机会：

加速从新实体中学习： 语义 tokenization 帮助模型通过共享概念推断相关性并建立关系。新实体包括新创建的广告、小众商品以及互动有限的页面。
实现跨广告活动迁移：语义分词创建了一个稳定的词汇表，使模型能够将洞察跨广告活动传递给广告主。
LLM 扩展优势：语义分词使这些优势能够随着 LLM 扩展曲线性能的提升而不断累积。
注入世界知识：语义分词为预训练语言模型提供了一个直接接口，用于推理广告内容和用户意图。

一旦物品被迁移到语义 token，模型就会像 LLM 一样从 token 模式中学习。在生产环境中，这带来了：

生产环境中的预测准确率提升：与 Meta 的 GEM 和 Adaptive Ranking Model 配合使用，GenRecs Tokenization 带来了 +0.35% 的转化提升¹。
复利式反馈循环：更好的长尾预测从长尾广告中带来更好的学习效果，从而丰富训练数据，进一步改善模型对所有广告的预测，形成一个性能不断提升的反馈循环。
一种新的扩展方式：在生产环境的排序和检索中，token 沿序列长度、训练数据和模型架构弯曲扩展曲线。

¹ Meta 内部数据，于 2026 年 2 月测量。

推出 GenRecs Tokenization

预训练多模态模型会读取每个广告、商品和页面（包括其文本和图像），并将这些物品编码为携带世界知识的嵌入。分词器将该内容信号与从用户与物品互动方式中学到的表示相结合，然后将结果量化为一段短的离散 token 序列。相似的物品共享 token，就像相关词语共享词根一样。例如，上一季和本季的两条跑鞋广告之间存在重叠，因此新广告活动能立即受益于模型已经学到的关于上一季产品的所有知识。

GenRecs Tokenization 的核心是一个三阶段流水线，它：

编码每个物品到一个语义嵌入空间。
分解该嵌入为独立的子空间。
量化通过将每个子空间映射到码本中的一个条目。

最大化广告推荐质量需要根据实体和特征语义对这些阶段进行多样化组合。例如，对于许多广告表示，GenRecs Tokenization 使用前缀 n-gram，结合学习到的编码器、残差分解、学习到的向量码本以及 token 参数化。

Token 质量预测排序准确率

独立于下游排序增益，分词器模型质量可以对照内在指标进行评估，例如：

簇纯度：共享同一代码的物品往往共享同一类别，从而为模型提供每个 token 更清晰的信号；
分布均衡：物品均匀分布在语义 ID 上，而不是挤在少数几个上。
码本利用率：更大比例的代码至少包含一个物品，因此词汇表能表达更多区分。

在我们测试的八个分词器版本中，我们看到这些内在质量指标与下游排序预测准确率之间存在强相关性。在这些指标上得分更高的分词器版本，其广告模型点击率（CTR）预测准确率也更好。

分词飞轮

分词通过在海量商品目录中挖掘更深层的语义模式，最大化高曝光广告活动的效率。对于曝光量较少的尾部广告，分词使广告推荐模型能够借助共享的内容结构在它们之间进行泛化，从而恢复冷启动表现并实现跨实体迁移。当一家运动服饰品牌推出下一季的越野跑鞋时，分词让新产品及其广告能够基于模型从上一季跑鞋中学到的内容进行构建，甚至在任何人看到新广告之前就能做到。

通过提升尾部广告的预测质量，分词不仅让尾部广告能够被准确排序，还改善了训练数据，进而提升所有广告的预测质量。每经过这一自我强化的飞轮一次，模型预测的质量都会得到提升。

LLM 推荐的基础

分词器的改进并不局限于其调优所针对的模型。通过多样性损失、失效码本重置和对比目标来优化码本质量，当生成的 token 用于训练生成式推荐器时，可带来可测量的下游性能提升。我们在LLM 原生检索方面的工作展示了这一方向能走多远。基于共享 LLM 编码器的双塔架构在保持高效可服务的同时达到了最先进的检索质量，仅用一小部分训练数据就匹配了经典双塔的性能。在此基础上，我们目前正在同一词表之上扩展推理感知排序。

GenRecs 分词的未来

我们正沿着三个方向继续推动 GenRecs 分词向 ROI 最优前沿迈进：

深化冷启动泛化：尾部广告库存是语义 token 贡献最大、广告主影响也最大的领域。我们正在扩大分词对所有条目的覆盖范围，以为广告主带来更好的表现。

将分词器质量视为一等目标：与互动对齐的训练、统一的跨实体词表以及码本改进是当前积极投入的领域。由于内在质量指标能够预测下游排序收益，我们可以在不等待完整模型训练周期的情况下迭代分词器。

高效服务 LLM 原生架构：完全语言化的分词为模型提供了广告最丰富的视图，但所需的上下文窗口在广告规模下并不现实。我们正在将压缩后的语言化 token 与语义 ID 相结合，以在保持可接受延迟的同时保留推理质量。

放眼更远的未来，我们正在探索如今用于改进广告排序的同一词表是否能够统一跨场景的表示。一个横跨文本、图像、音频和视频等广告内容的共享 token 空间，将使模型能够用同一种表示来推理用户对什么感兴趣以及广告主能提供什么，而不是将分别学习到的嵌入拼接在一起。

随着推荐系统从判别式评分演进到包含生成式推理，数据基础也受益于从短暂的 ID 演进为稳定的语义表示。GenRecs Tokenization 提供了这一基础，将 Meta 广告生态系统的复杂性转化为生成模型可以学习、推理并据此生成的词汇表。

致谢

我们要感谢 Weifeng Cui、Ling Leng、Luke Simon、Hadar Ohana、Jimmy Chen、Minghai Chen、Chiyu Zhang、Dinesh Ramasamy、Debajyoti Roy、Shawn Shi、Gajanan Golegaonkar、Xiao Yang、Ashkan Aleali、Anuj Gargava、Xizhou Feng、Liquan Huang、Frank Shyu、Xiaoyu Chen、Kungang Li、Chonglin Sun、Matt Steiner、Sandeep Pandey、Santanu Kolay、Anuj Madan、Tak Yan，以及 Meta 广告推荐系统中首个大规模语义 tokenization 工作开发与生产化背后的整个团队。

文章 GenRecs Tokenization: Transforming Ads Recommendation at Meta with Stable Model Vocabulary 首次发表于 Engineering at Meta。

来源：Meta Engineering Blog · engineering.fb.com