跳到正文
AWS Machine Learning Blog· Mariah Miller·· 1 小时前AI 评分30

Social Department 如何构建文化感知的视频发现系统 QuickSearch

How Social Department built culture-aware video discovery

AI 导读

Social Department 推出 QuickSearch,用 Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align 四个单动作查询替代纯语义搜索,返回营销人员难以用文字描述的片段。

正文 · AI 翻译

本文由 AWS 的 Mariah Miller 和 Sirajus Salekin 以及 Social Department 的 Nicholas Chase 共同撰写。

娱乐营销团队需要管理来自制片厂、电视网和流媒体应用的数万个视频素材。大多数营销活动都始于同一个视频发现难题:在素材中找到那个能引起观众共鸣的瞬间。当需求简报下达时,倒计时就开始了,而他们需要的几乎从来不是数据库能够描述的东西。

仅靠语义搜索存在上限:它只能回答你能明确表述的问题。让它找一个拿着咖啡杯的角色,它会在上千集内容里找出每一个咖啡杯。而真正驱动娱乐营销活动的查询完全不是这样。它们是判断性问题:剧中的哪个瞬间会传播开来,哪句台词值得引用,哪一帧画面能成为表情包。

这些问题无法输入搜索框。要回答它们,需要搜索索引所不具备的两样东西:一是针对特定内容库,对“值得引用”或“适合做表情包”的编辑定义;二是对内容库之外正在流行什么保持持续更新的视野。过去,回答这些问题意味着要由一位对剧集有深入了解的人花一周时间观看素材,而这样的人无法扩展到整个内容目录。

本文介绍 Social Department——面向娱乐营销的 AI 操作系统——如何着手将这些编辑性问题编码为可执行的检索流水线。成果是 QuickSearch,一组一键式查询,无需营销人员描述需求,即可返回他们正在寻找的片段:可分享场景、可引用台词、可做表情包的瞬间以及趋势对齐。

此解决方案中的模型运行在 Amazon Bedrock 上,因此客户数据始终留在 AWS 数据边界内。数据不会与模型提供商共享,也不会用于训练底层模型。

Social Department 的负责任 AI 理念是:AI 提出建议,由人做决定。在生产环境中,代码会将生成的输出与源素材进行核对(例如,如果某句台词不在剧集转录文本中,就会被丢弃)。Amazon Bedrock Guardrails 帮助筛查客户搜索文本中的提示攻击,客户团队中的人员会在每条内容发布前进行审批。

Social Department 负责流水线架构、检索系统以及每项操作背后的编辑标准。AWS 高级服务合作伙伴 TrackIt 按照该设计进行实施和交付。在 Amazon Bedrock 上运行的 TwelveLabs Marengo 3.0 和 Pegasus 1.2 模型为流水线提供场景级视频推理能力。AWS 提供基础设施、模型访问权限(包括 Anthropic 的 Claude 模型)以及 Amazon OpenSearch Service,并使用其无服务器选项 Amazon OpenSearch Serverless 进行检索。

关于范围的说明: 本文介绍系统的 AWS 部分:摄取与索引流水线、检索路径以及运行它们的服务。Social Department 拥有的组件,包括其媒体与数据骨干、内容分析与发现引擎、编辑标准以及评估计划,仅按理解架构所需的深度进行描述。下文提到的服务是本文所讨论的服务,并非 Social Department 完整系统的清单。

关于 Social Department

Social Department 是面向娱乐营销的 AI 操作系统,服务于大型制片厂、电视网、流媒体平台和 FAST 应用。它能在客户的完整内容库中自动完成活动策略、素材创作、发布和效果优化。这些功能大多依赖于先在素材中定位到正确的时刻,而语义片段发现从一开始就是产品的核心。

为什么仅靠语义搜索还不够

娱乐营销受制于两项约束,通用搜索层无法满足。

有价值的查询恰恰是没人能描述出来的那些

营销人员可以描述一个物体、一个地点或一句台词,但无法描述什么会传播开来。这种判断——这个时刻能打动人、那个不能——才是这份工作真正的技能。它从来都无法自动化,因为它取决于了解观众的行为方式,而不是视频包含什么内容。只理解内容的搜索层需要人来提供意图,而要提供好意图,就得先看过这部剧。

趋势信号存在于内容库之外,且按不同的节奏变化

再多的视频理解也无法告诉你观众今天早上在谈论什么。这类信息在内容库之外产生,每小时都在变化,而内容库只有在新增内容时才会变化。要回答这类查询,系统必须持续获取趋势信号,并在请求时将其与内容库进行比对。

这一区别推动了核心架构决策:内容理解与趋势获取作为独立流水线按各自的节奏运行,仅在用户选择某个 QuickSearch 操作时才进行关联。

解决方案概述

借助 QuickSearch,团队可以以不同的方式与视频库交互,系统会主动提出建议,而不是被动等待。它提供四种操作,每种都有自己的检索策略、编辑标准和排序模型。接下来的演练将描述每种操作的实现方式。这里先介绍它们各自的作用。

  1. Shareable Scenes 呈现内容充实、自成一体场景,例如长时间的对抗、高潮和重头戏,偏向于有充分展开的段落,而非快速反应镜头。
  2. Quotable Quotes 寻找简洁有力、适合引用的对白,并限制在较短的片段长度内,在可获得该片名相关信号时,优先考虑那些已被证明流传过的台词。
  3. Memeable Moments 识别可作为表情包的单个画面,并基于实际画面生成配文。由专门的提取与评分步骤来选择画面,而不是直接取缩略图。
  4. Trend Align 获取当下正在流行的内容,并在内容库中找到与之真正相关的时刻,让一部多年前已播完的剧集能够重新进入当下的讨论。

除此之外,Social Department 还保留自然语言搜索,以覆盖这些操作未涉及的内容,以及基于图像的搜索,即用一张参考图返回内容库中视觉上相似的内容。

下图展示了架构的三个部分如何连接。内容理解流水线让内容库可被搜索,趋势获取通道引入外部趋势信号。QuickSearch 任务层在请求时把两者关联起来。

Architecture connecting the content understanding pipeline, trend acquisition lanes, and the QuickSearch job layer

图 1:高层架构

架构演练

该系统由三个按独立计划运行的部分组成。其中两个负责获取并结构化信息,第三个将用户的单次选择解析为跨这两部分的多个阶段的检索操作。

内容理解流水线

该流水线让媒体库变得可读。它在内容摄入时异步工作。一个 AWS Step Functions 状态机端到端地编排约二十几个 Python AWS Lambda 函数。以下步骤追踪一个视频从上传到建立索引片段的完整过程。

  1. 上传与触发 – 视频进入每个团队各自的 Amazon Simple Storage Service (Amazon S3) 存储桶。S3 Object Created 事件经 Amazon EventBridge 路由,启动 Step Functions 执行。
  2. 元数据 – 第一个 Lambda 函数对照 Social Department 的媒体与数据主干,解析标题、团队、剧集和公开标识符,将视频元数据写入 Amazon DynamoDB,并将该资产报告为处理中。
  3. 转码 – AWS Elemental MediaConvert 将资产转码为 480p H.264,并采用自适应去隔行,使用 Step Functions 任务令牌,使状态机等待任务完成而非轮询。
  4. 镜头检测 – Amazon Rekognition 通过 Amazon Simple Notification Service (Amazon SNS) 回调执行异步片段检测。第二个 Lambda 函数将原始镜头合并并拆分为约 10–20 秒的内容感知范围。这些范围是流水线其余部分展开处理的单元。在一个范围内,Social Department 以固定间隔切分嵌入,这一设计选择针对剧集电视的节奏进行了调优。建立索引的片段短且长度固定,但它所在的范围跟随剪辑点。
  5. 嵌入 – 各范围在 Step Functions Distributed Map 中处理。每次调用通过异步调用将开始和结束时间传递给 Amazon Bedrock 上的 TwelveLabs Marengo 3.0。该调用生成跨视觉、音频和转录维度的多模态嵌入,此路径无需拆分文件。
  6. 场景描述 – Amazon Bedrock 上的 TwelveLabs Pegasus 1.2 在并行的 Distributed Map 中按片段运行,生成场景级叙事描述、情绪、主题、对话类型和叙事位置,这些构成排序模型后续推理所依据的文本层。Pegasus 接收预先切分的文件而非时间范围,因此一个单独的 Lambda 函数先切分每个范围,并在两侧各留几秒填充以保留场景过渡。
  7. 转录与增强 – 与嵌入并行,流水线运行带自动回退的语音转文字,并使用 Amazon Rekognition 处理屏幕文字、视觉标签和用于角色定位的人脸集合。Amazon Bedrock 上的 Anthropic Claude 模型提取节目的角色图谱,并生成节目级概念和角色角色。
  8. 索引 – Amazon Bedrock 将嵌入输出写入 Amazon S3。随后一个最终的 Distributed Map 将嵌入、转录、屏幕文字、场景描述字段和标签索引到 Amazon OpenSearch Serverless。

整条流水线端到端都是事件驱动的。每个 Lambda 任务都以指数退避方式重试。场景描述阶段额外增加了一个带完整抖动的专用限流重试。非关键的富化步骤会优雅降级,而不是让整次运行失败;硬失败则路由到错误处理器,记录原因并将该资产报告为失败。

Marengo 的同区域暂存。Marengo 仅在特定的一组 AWS 区域中可用。Amazon Bedrock 中的异步调用从与端点同一区域的 Amazon S3 桶读取输入并写入输出。流水线围绕这些参数构建。它先将每个视频暂存到美国东部(弗吉尼亚北部)的一个专用桶中,然后再调用 Marengo,随后从同一个桶读回嵌入输出。其余基础设施留在其主区域,而每个嵌入任务与模型一同运行。有关按区域划分的模型可用性,请参阅 Amazon Bedrock 中按 AWS 区域划分的模型支持。

趋势获取

该流水线持续运行,独立于任何库,正是它让 Trend Align 成为可能。

  1. 两条通道,一个信息流—— 趋势数据通过两条机制刻意不同的通道获取。每日通道使用 Amazon EventBridge cron,每个区域每天一次定时抓取,时间按各区域当地早晨而非固定的 UTC 小时安排。热度通道(Heat Seeker)读取处于早期阶段、按势头排序的趋势,仅在用户明确请求时才抓取,如果已存储的数据足够新则复用。这种拆分是出于成本考量。cron 在每次触发时都要为每个区域付费,无论是否有人在用;而位于 TTL 之后、按需定形的抓取在平静的日子里不产生任何费用。
  2. 区域信息流是彼此独立的数据群体——趋势按地理区域获取,目前有四个信息流:全球、美国、英国和澳大利亚。区域并不是对全球列表的过滤。每个区域都按各自的日程单独发现,因此同一天的趋势在各区域之间确实不同。
  3. 解读与编辑把关——原始趋势数据不会展示给客户。Amazon Bedrock 上的 Anthropic Claude Haiku 会将每个趋势归一化到 Social Department 自己的分类体系上,标准化其描述,对近似匹配去重,并限制每个类别中保留的数量。在同一次处理中,编辑把关会剔除主要主题为死亡、暴力、自残、自然灾害、政治、抗议、犯罪或公共卫生危机的趋势。无论趋势规模多大,营销客户都不会被提供这些内容。被拒绝的趋势会被记住,这样每次抓取就不必重新筛选它们。
  4. 存储作为一等行—— 解读后的趋势按稳定指纹进行 upsert,因此同一趋势逐日复用其行及其缓存派生结果。不再出现的趋势会逐渐老化并最终退役。刷新运行会获取一个声明,因此两次运行不会重叠。

Quotable Quotes 依赖第二个更窄的输入:一个外部对话热度信号,严格用于对已经流传的台词进行加权。它按设计是可选的,因此如果该信号不可用,台词不会获得加权,而不是让任务失败。

QuickSearch 任务层

这一层是单次选择转化为检索策略的地方。它异步执行每个操作,并返回一组排序后的片段。

  1. 请求路径 – 该 Web 应用是一个 React 单页应用,由 Amazon S3 通过 Amazon CloudFront 提供服务。其 API 是运行在 AWS Lambda 上的 Fastify 服务,位于 Amazon API Gateway HTTP API 之后,并使用 Amazon Aurora PostgreSQL-Compatible Edition 存储关系型数据。
  2. 异步执行 – 选择 QuickSearch 操作会将作业记录写入 Amazon DynamoDB,并将一条 Amazon Simple Queue Service (Amazon SQS) 消息加入队列。一个 worker Lambda 函数会取出该消息并运行该操作的流水线。瞬时故障通过 Amazon SQS 重试,被归类为不可重试的错误则直接进入死信队列。
  3. 查询构建 – 每个操作都会扩展为一组由其编辑标准塑造的检索查询。对于 Trend Align,大部分专有工作就在这里:趋势以文化话题的形式出现,而视频索引能够匹配的是屏幕上和音频中出现的内容。弥合两者之间的差距是一个翻译问题,由 Amazon Bedrock 上的 Claude 模型处理。输出是一组索引可以执行的查询。
  4. 多通道检索 – 每个查询都会发送到 search Lambda 函数,该函数负责混合检索。Marengo 将查询嵌入一次,形式为文本、图像或组合的文本加图像查询。嵌入后的查询随后在六个 k-NN 通道(视觉、音频、转录文本、屏幕文字、场景描述和标签)以及七个 BM25 文本通道上执行。各模态的权重来自查询本身。查询类型路由会调整通道加权,使对话查询偏向转录文本和情感通道,而视觉查询则抑制这些通道。
  5. 融合与重排序 – 各通道通过 Reciprocal Rank Fusion 进行组合,该方法使用排名位置而非原始分数,从而避免了 k-NN 与 BM25 相似度之间的尺度不匹配。排名靠前的候选随后通过 Amazon Rerank 模型(一种通过 Amazon Bedrock 中的 Rerank API 调用的交叉编码器)进行最终的文本到文本相关性处理,然后由 Claude 对排名靠前的结果进行验证步骤。
  6. 聚合 – 索引存储短的固定长度片段。在返回结果之前,具有高视觉嵌入相似度的相邻片段会合并为连贯的片段,因此对某个场景的查询会返回一个 20–60 秒的结果,而不是同一场景的五个碎片。
  7. 编辑排名 – Amazon Bedrock 上的 Claude 模型会根据操作的编辑标准对去重、丰富后的候选进行排名。候选池设有上限,以免模型输出被截断。模型选择因操作而异:在文化召回会改变答案的地方使用 Claude Sonnet,在任务有界且对成本敏感的地方使用 Claude Haiku。
  8. 帧提取 – 对于 Memeable Moments,一个专用 Lambda 函数会从获胜片段中提取若干候选帧,并使用 Amazon Rekognition 对它们进行人脸质量评分,同时评估图像清晰度。然后以全分辨率重新提取获胜帧,裁剪黑边,并返回一个签名的 Amazon CloudFront URL。
  9. 缓存 – 已完成的结果存储在 Amazon DynamoDB 中,并复用 30 天。缓存键包含每个操作的流水线版本,对于 Trend Align 还包含活跃趋势集的哈希值,因此标准变更、模型升级或趋势目录刷新都会干净地使缓存失效,而不会返回过时的答案。

设计决策

三项选择使文化信息驱动的检索变得可行。

将趋势获取与内容理解分离

内容库会因新增内容而变化。趋势每天变化,早期趋势的变化更快。将两者耦合意味着要么针对新信号重新处理内容(这在计算上不可行),要么提供过时的趋势判断。将它们保持为独立流水线并在请求时连接,意味着信号保持最新,而内容库无需再次被触碰。一部多年前已完结的剧集可以重新进入实时对话。

将每个操作拆分为低成本检索和高成本判断

朴素的设计是将一个大模型置于整个内容库之前。QuickSearch 则使用低成本、高召回率的向量和关键词检索来构建候选池,然后仅将模型预算用于对有限数量的真实候选进行排序。上限根据排序模型的输出 token 限制来设定,因为中途截断响应的排序器会静默丢弃结果。这也使 Amazon Bedrock 的每次查询成本可预测:一次嵌入调用、一次重排序调用和少量固定的 Claude 调用,无论内容库大小如何。

将缓存失效设为明确的编辑行为

结果缓存 30 天。如果不干预,对操作标准或模型的更改将在缓存过期前对用户不可见。每个操作都带有一个流水线版本,在改变其行为的同一变更中递增。该递增会立即使先前结果失效,因此编辑判断作为产品的版本化变更来完善,而不是在每次查询时重新争论。

结果

Social Department 报告了客户使用 QuickSearch 的以下成果。这些是公司自身的观察,而非受控基准测试。

  1. 以前不可能完成的查询现在只需一次选择 – 识别粉丝群体已奉为经典的时刻,或对特定受众将作为梗传播的帧,以前需要一位对作品有深入了解的人观看素材,而且无法在整个目录中扩展。
  2. 发现不再依赖手动浏览 – 据 Social Department 称,过去需要 3–4 天的活动发现工作,现在使用 QuickSearch 大约只需 10 分钟。营销人员过去花在浏览剧集寻找合适时刻上的时间,重新回到了更高价值的活动工作上。
  3. 营销人员无需编写查询即可获得候选片段 – 这消除了搜索者必须足够熟悉内容库才能描述所需内容的要求,这一限制曾使发现工作依赖于少数看过该节目的人。
  4. 归档目录变得可寻址 – 由于已完结、已归档且对元数据搜索不可见而实际上无法访问的内容,现在可用于活动工作,多年前停播的剧集可以重新进入实时文化对话。
  5. 行业认可—— Social Department 在 NAB 2026 上被评为顶级初创公司,并登上 Entertainment Loft 展示。

“这里最难的部分从来不是搜索本身,而是弄清楚要搜索什么:如何把一位优秀营销人员凭直觉做到的事——哪个瞬间能打动人、为什么——转化为系统可以执行上千次的标准。我们在这上面花了很长时间。与 TrackIt 合作,在压缩的时间表内,我们从规格走到了 NAB 的现场演示。TwelveLabs 赋予我们理解素材内容的能力,AWS 提供了在媒体库规模上实现这一点的基础设施。我们的工作是知道该把目标指向哪里。”

—— Jonathan Verk,Social Department 创始人兼 CEO

“媒体行业人人都在谈论为媒体库添加元数据,但给内容打标签本身并不产生收益。我喜欢这个项目的地方在于它形成了闭环。它把躺在档案库里的节目拿出来,让它们对真实营销活动有用,而且成本合理到可以每天运行。这正是行业一直缺失的部分。”

—— Chris Marchitelli,TrackIt 副总裁

我们学到了什么

以下是该项目中尤为突出的四点经验。

真正的难题是表达判断,而不是检索内容

检索问题基本已经解决。尚未解决的是如何足够精确地表达意图,使检索在没有专家营销人员参与的情况下仍然有用。大部分工程投入都用于定义什么算作可分享的场景或可做成梗的帧,定义得足够严格,以便在不同调性和受众的媒体库中反复执行。这一定义来自一个常设评估项目,经过编号迭代,每一轮都对照各节目的真值集和受跟踪的基线进行衡量,从而根据结果而非直觉来调整标准。

基于 Amazon Bedrock 的多模型架构

QuickSearch 采用多模型架构,每个模型承担最适合它的工作。Claude Haiku 处理有边界、对成本敏感的产出,Claude Sonnet 处理文化记忆会改变答案的任务。TwelveLabs Marengo 生成多模态嵌入,TwelveLabs Pegasus 提供场景级视频推理,Amazon Rerank 模型负责重排序。Amazon Bedrock 让这一架构的构建和运行变得可行。来自 TwelveLabs、Anthropic 和 Amazon 的模型可通过一个 API 使用,因此 Social Department 可以在衡量质量发生变化时更换任务背后的模型,而无需构建新的集成。异步调用可在媒体库规模上运行长视频嵌入任务,Rerank API 无需单独托管基础设施即可增加一轮相关性处理。Amazon Bedrock Guardrails 帮助在同一服务中筛查搜索输入,客户数据保留在 AWS 数据边界内。由于 Amazon Bedrock 完全托管,团队无需自行运营任何模型服务基础设施。

会衰减的信号需要自己的架构

把趋势数据当作内容流水线的又一个输入会失败,因为两者的生命周期不兼容。及早认识到媒体库内容和实时文化是独立系统,具有不同的刷新率、存储和故障模式,是其余设计所依赖的决策。

清晰的层级边界让多方项目得以成功

Social Department 拥有流水线架构、检索系统和编辑标准。TrackIt 依据该架构进行构建和交付,TwelveLabs 提供视频理解模型。AWS 及其 AWS Generative AI Innovation Center 为 AWS 组件提供基础设施、模型访问和解决方案架构。由于各方都有明确界定的范围,8 周的生产时间表得以保持。

结论

我们介绍了 Social Department 如何与 TrackIt、TwelveLabs 和 AWS 合作,利用其自有流水线和检索架构,为娱乐营销构建文化感知的视频发现系统。本文描述的层由若干 AWS 组件构成。TwelveLabs Marengo 负责多模态嵌入,TwelveLabs Pegasus 负责场景级视频推理,二者均运行在 Amazon Bedrock 上。Amazon Bedrock 上的 Anthropic Claude 模型负责解释和编辑排序,Amazon OpenSearch Serverless 负责混合检索。AWS Step Functions、AWS Lambda、AWS Elemental MediaConvert、Amazon Rekognition、Amazon DynamoDB 和 Amazon SQS 运行围绕它们的流水线。最终结果是一组单次操作查询,能够返回观众已经关心的片段、他们已经在引用的台词、适合做成梗图的画面,以及与当下热门话题相关联的瞬间。

要开始在 AWS 上使用多模态视频理解,请探索 Amazon Bedrock 和 Amazon OpenSearch Service。要了解更多关于 Amazon Bedrock 上可用的 TwelveLabs 模型,请访问 AWS Marketplace 上的 TwelveLabs 页面。要探索 AWS Generative AI Innovation Center 如何帮助您的组织,请访问 AWS Generative AI Innovation Center 页面。

致谢:作者感谢 Katie Kenney、Pranay Duhan、Xiaoye Qian、Rinne Han 和 Dahler Battle 对本解决方案所做的工作。我们还要感谢 TrackIt 和 TwelveLabs 团队的支持。 


关于作者

Mariah Miller

Mariah Miller

Mariah 是 AWS Forward Deployed Engineering 中负责媒体、娱乐、游戏和体育行业的资深生成式 AI 策略师和行业领袖,她曾在 AWS Generative AI Innovation Center 担任该职位。她领导客户任务,与各行业的企业团队(包括金融和法律服务)一起构建生产级 AI 系统,并开发可复用的解决方案资产,如多模态视频搜索、代理式商务和语音 AI 代理。她还构建了创新中心的合作伙伴计划。工作之余,她喜欢在户外度过时光。

Sirajus Salekin

Sirajus Salekin

Sirajus Salekin 是 AWS Forward Deployed Engineering(原 AWS Generative AI Innovation Center)的应用科学家。他与客户和 AWS 合作伙伴合作,设计和构建可扩展的生成式 AI 解决方案,从早期实验到生产。他的工作涵盖生成式 AI、多模态机器学习、自然语言处理和视频搜索,将应用研究与交付相结合,确保每个解决方案都与真实的业务成果挂钩。

Nicholas Chase

Nicholas Chase

Nicholas 是 Social Department 的首席软件工程师,该公司是娱乐营销的 AI 操作系统,他领导系统架构和视频搜索技术栈。Chase 推动了本文描述的检索需求和搜索质量工作。

来源:AWS Machine Learning Blog · aws.amazon.com