Amazon Marketplace 如何用 Amazon SageMaker AI 评估 A+ Content 内容质量

A+ Content 是亚马逊商品详情页上的富媒体组件。品牌通过视觉素材传达独特的产品和品牌价值，帮助顾客做出明智的购买决策。使用高质量 A+ Content 的销售伙伴相比未使用的伙伴，销售额可提升 8–20%。从拥有庞大内部设计团队的成熟品牌，到资源有限的初创品牌，各类品牌都在使用 A+ Content，导致内容质量参差不齐。一个典型的 A+ Content 项目将文字、图片和视频组合成一个连贯的产品故事。孤立地评估每个素材，会忽略这些素材协同作用所产生的质量。当你的内容跨越多个异构模块，且需要整体质量信号而非逐素材检查时，本博文介绍的多模型融合方法可以帮到你。在本博文中，我们结合 A+ Content 来探讨这一问题。

A+ Content 为销售伙伴提供了创作自由，让他们能在商品详情页上表达真实的自我，而不受图片比例、文字字数等严格内容规范的限制。

尽管这种灵活性支持了引人入胜的品牌叙事，但也造成了内容构成和质量上的巨大差异。

借助质量评估和改进建议，品牌可以将普通内容转化为更连贯、更相关、更有用的高质量内容。改进后的内容帮助顾客做出更明智的购买决策，并与品牌建立持久的关系，从而为销售伙伴带来收入增长。

为实现这一目标，评估系统必须评估完整的内容体验，提供超越数字评分的可操作建议，并反映各商品品类之间的细微差异。现有方法难以同时满足所有这些要求，因此在本博文中，你将看到一种新方法：使用视觉语言模型（VLM）来整体理解和评估内容，以及一个基于扩散的生成组件，根据所得的质量信号生成改进的视觉素材。

在本博文中，你将了解如何：

• 将完整的电商内容渲染为单一快照，并用 VLM 对其进行整体评估。
• 在基于专家标注训练的轻量级 CatBoost 分类器中，将 VLM 语义评分与 OCR 可读性信号相结合。
• 使用 SHAP 解释质量决策，并为销售伙伴生成可操作的改进建议。
• 在 Amazon SageMaker AI 上实现端到端流水线，涵盖从数据摄取和标注到模型托管、可解释性和生产监控的全过程。

基于 VLM 的评估所面临的机遇与挑战

视觉语言模型（VLM）将图像编码器与大型语言模型（LLM）配对。编码器通常是视觉 Transformer（ViT），它将图像分割成图块并转换为嵌入向量，再由一个小型连接器将这些嵌入映射到语言模型的输入空间（Flamingo、LLaVA）。许多 VLM 复用CLIP 的图像编码器，该编码器学会了将图像与其说明文字相匹配。由于 VLM 经过训练能够遵循指令，你可以向它提供一张图像以及一套评估标准，无需针对特定任务进行训练即可获得书面评估。当你需要与人工审核员更高度一致时，可以在标注样本上对模型进行微调。这使得 VLM 成为大规模对照内容准则检查产品图像的实用起点。

传统的计算机视觉模型已经可以对单个素材进行评分，例如标记模糊的图像或项目符号列表中的语法错误。使用 VLM 单独对每个素材进行评分，除了这些之外几乎没有额外价值。然而，产品详情页将图像、文本和布局模块组合成一个整体叙事，其质量取决于这些部分如何协同工作。我们的方法将整个页面渲染为单张快照，并让 VLM 以客户所见的视角对其进行评估。

以一款搅拌机的页面为例，其中包含主图、突出刀片速度和容量的项目符号功能列表，以及一张搅拌机置于现代厨房中的生活方式照片。逐一检查时，每个素材都通过：图像清晰、项目符号语法正确、照片光线良好。但综合来看，问题就出现了。项目符号可能宣传 64 盎司的搅拌杯，而生活方式照片展示的却是单杯型号；或者生活方式照片可能位于主图上方，导致客户先看到厨房再看到产品。由于素材的含义取决于其出现的位置和周围的内容，这些问题只有在将页面作为一个整体进行评估时才会显现。快照为 VLM 提供了这种完整视图。在生产环境中使用它增加了三项要求：评分必须符合专家质量标准，评估必须在大规模下准确高效，并且每个结果都必须说明需要修复什么。

如图 1 所示，我们通过基于 VLM 的多模型融合架构来应对这些考量，该架构围绕适应性、性能和可解释性进行设计。以下各节描述每个组件。

图 1：基于 VLM 的多模型融合方法框图，包括 VLM、OCR 和分类器模型

基于专家标注的自适应 VLM 内容评估

使用评估标准提示的预训练 VLM 会根据其通用知识对内容进行评分，而这些评分并不总是符合电商质量标准。微调 VLM 以缩小这一差距需要 GPU 训练基础设施，而且仅有几千个标注样本，存在过拟合的真实风险。因此，我们保持 VLM 和评估标准提示不变，将 VLM 的结构化输出作为特征，并在其上训练 CatBoost 分类器来预测专家质量标签。CatBoost 是一个梯度提升决策树库，在此类小型表格数据集上表现良好。由于只重新训练分类器，随着标注积累或标准变化而更新系统只需一个简短的仅用 CPU 的任务，而非基础模型微调运行。

VLM 接收页面快照和一份评分标准提示，该提示涵盖四个质量维度：视觉叙事、功能呈现、A+ 布局和转化优化。每个维度都有明确的评判标准和扣分规则。对于每个维度，VLM 返回 0 到 10 的分数、置信度和自然语言理由。例如，当页面缺少多样化的模块或生活方式图片，或重复信息时，它会降低分数并解释原因。分数和置信度值成为分类器的特征，而理由则帮助销售合作伙伴理解结果。

为了构建训练标签，一位电商营销专家和四位专业标注员使用相同的标准，独立对来自 10 个产品类别的 5,478 个产品详情页进行了高质量或低质量的评级。我们评估了他们的评级，并采用多数投票来创建共识标签。各类别几乎均衡（49.6% 为高质量），因此分类器无法通过预测多数类来获得高分。为了衡量标签可靠性，我们使用了 Cohen's kappa，它衡量在扣除评分者偶然达成的一致后，两位评分者实际一致的频率。分数为 0 表示一致性不优于偶然，1 表示完全一致，而高于 0.8 的值通常被认为很强。每位标注员与共识标签相比的得分在 0.845 到 0.915 之间。

图 2：标注员表现和内容难度分布。近乎均等的类别划分排除了多数类偏差（左），难度分布解释了残余的分歧（右）

我们在 20% 的留出集（约 1,100 个页面）上将分类器与基线进行了比较。基线对四个 VLM 分数取平均值并应用固定阈值，因此每个维度权重相等。基线在高质量类别上达到了 0.80 的准确率和 0.84 的 F1 分数。在相同分数上训练的 CatBoost 分类器达到了 0.89 的准确率和 0.90 的 F1 分数。由于分类器学习了每个维度的重要性以及维度之间的交互方式，其预测更接近专家决策。

使用 OCR 进行高性能 VLM 内容评估

VLM 能很好地捕捉页面的整体含义和视觉构图，但在细粒度的可读性问题（例如文本有多拥挤或行间间距有多大）上不太可靠。由于其语言模型基础，它们也可能偏好冗长详细的描述，即使顾客更喜欢可以快速浏览的简洁文本。在文本密集的页面上，VLM 可能将密集的产品信息评为有帮助，而顾客却难以阅读挤在小区域内的长句。为了捕捉这些问题，我们使用托管在 SageMaker AI Inference 上的光学字符识别（OCR）模型来提取每个文本块及其位置，然后计算四个定量信号：文本密度、字符密度、间距和整体可读性。将这些 OCR 分数与 VLM 的语义和视觉评估相结合，增加了互补信息，从而改进了质量分类。

根据该输出，我们计算四个可读性分数：

• 文本密度： 文本覆盖的页面面积占比。
• 字符密度： 每单位页面面积的字符数。
• 间距： 单词、行和段落之间的空白有多一致和充足。
• 整体可读性：由前三项分数综合而成的信号。

由于这些分数取决于版面布局而非文字表述，因此文本相同的两个页面可能得到不同的分数。

融合模型将四项 VLM 评分标准和四项 OCR 评分标准组合成八个特征，并在相同的专家标签上训练一个 CatBoost 分类器。表 1 将其与仅使用单一特征集训练的模型进行比较，使用的是相同的 20% 留出集。

在相同的 20% 留出集上，仅使用 OCR 特征的 CatBoost 模型达到了 0.82 的准确率和 0.83 的 F1 分数，而仅使用 VLM 特征的模型达到了 0.89 和 0.90。融合的 OCR-VLM-CatBoost 模型优于两个独立模型，达到了 0.94 的准确率和 0.95 的 F1 分数。两项指标相对仅 VLM 模型均提升 0.05，这表明 OCR 并非替代信号。它以细粒度的文本可读性信息补充了 VLM 的整体判断。

使用 SHAP 的可解释 VLM 内容评估

仅凭质量标签并不能告诉销售伙伴应先修复什么。为了找出哪些维度驱动了每个决策，我们使用 SHapley Additive exPlanations（SHAP），它为每个特征分配一个值，显示该特征将预测推向高质量或低质量的程度。由于 VLM 和 OCR 分数输入同一个分类器，SHAP 在共同尺度上衡量两者。原始分数无法做到这一点：视觉叙事得分为 6 和高字符密度并不能告诉你哪一个对决策更重要。

在整个留出集上，影响最大的特征是 OCR 字符密度（平均绝对 SHAP 值 1.1）、OCR 整体可读性（1.0）和 VLM 视觉叙事（1.0）。紧随其后的是 A+ 版面布局（0.8）、功能展示（0.6）和转化优化（0.4）。OCR 和 VLM 特征均排名靠前，因此分类器依赖这两种来源。

图 3：所有 VLM 和 OCR 特征的全局 SHAP 值分布

对于单个页面，SHAP 显示哪些特征降低了决策。对于每个被归类为低质量的页面，我们按 SHAP 值对八个特征进行排序，然后将最负面的特征、产品类别和电商最佳实践，连同 VLM 的理由说明，传递给 LLM，由其转化为按优先级排序的具体行动。

图 4 展示了两个局部 SHAP 图，其 LLM 推理基于 SHAP 结果，分别对应一个低质量和一个高质量的 A+ Content 样本。例如，如果 A+ 版面布局的 SHAP 值为 -1.2，视觉叙事为 -0.3，系统会优先重构版面布局并重新平衡文字与图片，其次是改进图像。

图 4：所有 VLM 和 OCR 特征的两个局部 SHAP 值分布：(a) 低质量案例，其中大多数特征贡献为负并推动生成改进请求建议；(b) 高质量案例，其中大多数特征贡献为正

我们通过衡量销售伙伴修改内容后的质量分数，验证了这些基于解释的建议的有效性。在具有统计显著性的样本上，修改后的平均质量分数在 10 分制下提高了 1.4 分。因此，SHAP 贡献可以从决策解释转化为可操作的改进优先级和方法。因此，可解释性不仅仅是用于理解模型的辅助能力。它作为一种反馈机制，切实提升了内容质量。

结果

完整系统使用 VLM 和 OCR 对每个页面快照进行评分，将四个 VLM 分数和四个 OCR 分数合并为一个特征向量，并将其传递给在专家标签上训练的 CatBoost 分类器。随后，SHAP 识别出哪些特征驱动了每个决策。为了衡量每个组件的贡献，我们在相同的 20% 留出集上比较了四种配置。该留出集来自 10 个产品类别的 5,478 个产品详情页，包括家具、鞋类、杂货、美妆和服饰。

基线方法对四个 VLM 分数取平均值并应用固定阈值，因此每个维度权重相同。它达到了 0.80 的准确率和 0.84 的 F1 分数。在相同分数上训练 CatBoost 分类器，使模型能够学习哪些维度最重要以及它们如何相互作用，从而将准确率提升至 0.89，F1 提升至 0.90。仅使用 OCR 分数训练的分类器达到了 0.82 的准确率和 0.83 的 F1 分数。结合 VLM 和 OCR 分数取得了最佳结果，准确率为 0.94，F1 分数为 0.95。这比基线高出 14 个百分点的准确率和 11 个百分点的 F1。

图 5：VLM 和 OCR 评估配置的准确率与 F1 对比

分别考察每项性能提升，可以更清楚地看出集成方法的价值。CatBoost 校准首先通过学习维度特定权重和非线性决策边界，减少了固定阈值的局限性。随后加入 OCR 特征，提供了 VLM 可能遗漏的文本可读性信号。总体而言，最终融合模型相比基线将准确率提高了 0.14，F1 提高了 0.11。

我们还在一个包含 499 个内容项目的单类别数据集上进行了额外实验，更换了 VLM 主干。使用较轻量的 VLM 变体时，基线达到了 0.74 的准确率和 0.72 的 F1 分数，而 OCR-VLM-CatBoost 模型在这两项指标上均达到 0.90。使用能力更强的 VLM 变体时，基线达到了 0.79 的准确率和 0.84 的 F1 分数，而融合模型达到了 0.94 和 0.95。融合方法分别将两个 VLM 的准确率提高了 0.16 和 0.15，表明互补的 OCR 特征能够带来一致的增益，而不依赖于特定的基础模型。

为了在保留高性能基础模型访问能力的同时降低开发成本，系统冻结 VLM，仅训练低开销的分类器。在生产环境中，一项全球 A/B 实验根据模型的质量决策调整低质量 A+ Content 的可见性，在 Ordered Product Sales（OPS）上产生了具有统计意义的提升。除了与专家判断高度一致外，该集成系统还提供了一种质量信号，可大规模支持客户体验和业务决策。

在 Amazon SageMaker AI 上的实现

本节介绍该架构如何在 Amazon SageMaker AI 上端到端实现。流水线的每个阶段——从内容渲染、专家标注，到 VLM 评分、OCR 提取、特征聚合、分类器训练、基于 SHAP 的可解释性以及生产监控——都对应一项托管的 SageMaker AI 能力。这种设计使运维开销保持在较低水平。以下步骤将说明每个组件在生产环境中如何部署、连接和维护。

图 6：Amazon SageMaker AI 上内容质量系统的架构

1. 内容快照渲染与数据摄取： 渲染完整的 A+ Content 体验，捕获客户实际看到的页面效果。

SageMaker Processing 作业大规模运行容器化渲染任务，将数据准备与训练和推理计算解耦。

2. VLM 评分与模型托管： 标注人员使用质量评分标准独立标注内容。他们聚合后的共识标签成为训练目标。冻结的 VLM 接收每个快照以及评分标准提示，输出四个 0 到 10 的分数（视觉叙事、功能展示、A+ 布局、转化优化），每个分数都附带置信度和理由。SageMaker AI Inference 以适合工作负载的部署选项托管 VLM：

• 实时端点，用于对单个商品列表进行同步、低延迟评分。
• 异步端点，用于高分辨率快照等大型负载，此时轻微延迟可以接受。
• 批量转换，用于目录规模的离线批量评分。

这些选项支持自动扩缩、托管基础设施和 GPU 实例选择。

如果团队想要专门的低延迟变体，可以选择使用 SageMaker Training Jobs 进一步调优或蒸馏 VLM（例如低秩适配（LoRA）适配器、将知识蒸馏到更小的模型）。应避免这样做，以保持重新校准的成本效益和 VLM 无关性。

3. OCR 可读性提取： 与此同时，OCR 从每个快照中提取文本和边界框位置，并计算四个可读性信号：文本密度、字符密度、间距和整体可读性。

SageMaker JumpStart 从其模型中心提供预训练的、可一键部署的模型，无需从头获取、打包和基准测试模型。团队选择一个模型，可选地使用 SageMaker Serverless Model Customization 在电商内容上对其进行微调而无需管理基础设施，然后直接部署。SageMaker AI Inference 随后将所选 OCR 模型作为端点托管。

4. 特征聚合与存储：

SageMaker Feature Store 提供对相同特征的在线（低延迟推理）和离线（批量训练）访问，避免训练-服务偏差。团队可以在整个组织内共享特征，因此下游使用方可以复用相同的精选特征。

5. 分类器训练： 在八维特征向量上针对专家标注训练 CatBoost 分类器，以学习非均匀的维度权重和非线性决策边界。此处可以再次使用 SageMaker Training Jobs。你可以将训练好的模型直接注册到 SageMaker Model Registry，以实现版本管理、审批工作流和生产部署。

6. SHAP 可解释性与建议： SageMaker Processing 作业支持自带（BYO）处理代码，你可以用它来推导 SHAP 值和模型可解释性指标。

7. 生产监控与重新训练： 在生产环境中，机器学习模型会随时间自然退化。客户审美发生变化，新的 A+ 模块类型推出，产品类别不断演进，卖家行为也在改变。分类器从历史标注中学到的评分模式会逐渐与当今的质量定义脱节，若不加以检查，就会导致准确率悄然下降。持续监控通过检测实时数据分布或模型预测何时偏离训练基线足够远、需要重新校准，来弥合这一差距。

SageMaker AI ModelOps 提供一系列示例和资源，帮助你在 SageMaker AI 上运营生成式 AI 和机器学习工作负载。

SageMaker AIOps 提供了跟踪数据质量、模型质量和特征归因漂移的工具。SageMaker Pipelines 还能在漂移阈值被突破时端到端地自动化重新训练工作流。

8. 基于扩散的内容生成： 闭环的最后一步，质量分数和由 SHAP 推导出的建议作为条件输入扩散模型，生成改进后的 A+ 图片素材。系统不是让卖家自行解读建议并从零创建新内容，而是生成可直接使用的视觉素材（升级的生活方式图片、重新平衡的布局或增强的产品图），直接针对 SHAP 标记为负面影响最大的维度。这些生成的素材和自然语言改进建议会呈现给卖家，以便他们升级在 amazon.com 上的商品详情页。

结论

在这篇文章中，我们展示了如何通过将每个页面渲染为单张快照并用 VLM 评分，来评估客户所看到的商品详情页。我们还介绍了如何在 Amazon SageMaker AI 上实现该系统。我们围绕三个目标构建了该系统。在适应性方面，我们保持 VLM 固定，并在其评分标准分数上训练 CatBoost 分类器，使系统与专家判断相匹配，并可通过一次简短的仅 CPU 作业进行更新。在性能方面，我们加入 OCR 可读性分数，以捕捉 VLM 遗漏的密集或间距不当的文本。在可解释性方面，SHAP 识别出哪些特征驱动了每个决策，LLM 将这些结果转化为面向销售伙伴的优先级建议。

在来自 10 个产品类别的 5,478 个商品详情页上，融合模型达到了 0.94 的准确率和 0.95 的 F1 分数，分别比平均分基线高出 14 和 11 个百分点。根据建议修订的页面在 10 分制下平均提升了 1.4 分。

内容质量标准因产品类别、语言和商城而异，我们的专家标注无法完全代表每一种情境。接下来，我们计划评估更高效的 VLM 骨干网络和推理方法，以便在全球商品目录上运行该系统。

关于作者

James (Sungjin) Kim

James 是 Amazon 的高级应用科学家，拥有超过 15 年的经验，在电子商务、云基础设施、消费电子和前沿科学研究领域推动跨学科创新。他是 AI Agent、生成式 AI、大型语言模型（LLMs）、视觉语言模型（VLMs）和强化学习（RL）领域公认的专家。

Harsh Asnani

Harsh 是 AWS 的全球生成式 AI 高级专家解决方案架构师，专攻机器学习理论、MLOps 和生成式 AI 框架。他的背景是应用数据科学，专注于在云中大规模运营 AI 工作负载。

David Oh

David 负责 Amazon SageMaker 托管推理、HyperPod 推理、模型标准化、面向企业客户的 ModelOps 的上市（GTM）工作。他还是 SageMaker 模型部署、推理优化方面的主题专家，帮助客户在 SageMaker 托管推理和 HyperPod 中实现开源权重模型的成本节省、性能和延迟改进。他还负责语音 AI 和视频 AI 第三方模型的 SageMaker 与 Marketplace 托管。

Yixuan Song

Yixuan 是 Amazon 的高级产品经理，负责 AI 驱动的产品，帮助卖家做出更好的业务决策并发展业务。她与应用科学和工程团队合作，构建由大型语言模型和机器学习驱动的可扩展解决方案，专注于将复杂数据和洞察转化为可供卖家采取行动的建议。

Simai Zhang

Simai 是 Amazon 的数据科学家，专注于帮助卖家成功推出新产品的机器学习解决方案。她在传统机器学习和自然语言处理模型方面拥有专业知识，并在多种工具方面拥有经验，帮助销售伙伴做出数据驱动的决策。