VideoDB 在 100 小时动作检索基准上领先 AWS Nova 与 Twelve Labs

一项正面对比的检索基准测试，以及它对机器人团队选择下一个策略应从何学习意味着什么。

在一个包含 2,835 个第一视角视频和 11,369 条文本查询的 100 小时基准测试中，VideoDB Action Segmentation + Search 在 40.39% 的查询中于前 10 条结果内返回了相关时刻，比 AWS Nova（35.40%）领先约 5 个百分点，比 Twelve Labs Marengo 3.5（32.87%）领先 7.5 个百分点。当结果必须匹配动作的实际开始和结束时，差距进一步扩大：在时间 IoU ≥ 0.5 时，VideoDB 达到 20.49%，约为次优流程的 2.05 倍；在 0.75 时达到 12.83%，约为 3.81 倍。

我们还向五个开放嵌入模型提供了 VideoDB 的动作边界，以替代固定的四秒窗口。所有五个模型在时间匹配检索上都有所提升，在 tIoU ≥ 0.5（前 10）时提升了 1.71–3.57 倍，这表明时间区间的选择与嵌入模型一样，是检索设计的重要组成部分。

为什么这很重要：在训练下一个机器人策略之前，研究人员必须在数小时的录像中找到特定时刻，比如一次打滑、一次干净的交接或一次恢复，并决定模型应该从中学到什么。下面我们解释我们如何衡量检索、我们测试了什么，以及这如何融入该工作流程。

在本文中，我们使用一个示例性的递杯任务来贯穿该工作流程：机器人在将杯子移向托盘时失去抓握，研究人员定位该次尝试，并将其与成功的交接和恢复进行比较。

检索动作，而不仅仅是视频

对于这类调查，搜索结果需要捕捉到足够多的动作信息，以解释发生了什么。一段显示杯子在夹爪中的片段可能在视觉上相关，却几乎无法揭示抓握是否稳定或交接为何失败。研究人员需要一个时间单元，既能保留尝试与其结果之间的关系，又能在需要更多上下文时链接回录像。

动作分割提供了一种将视频组织成这些单元的方法，通过为单个动作分配描述和边界来实现。我们修订后的 WGO-Bench 研究评估了 VideoDB 在 100 个人类和机器人视频中识别动作边界和标注动作的准确程度。VideoDB 在时间 IoU 0.5 下达到了 28.93% 的语义 F1，而公开的 MacroData Refiner 基线为19.92%。该研究关注的是标注质量；下一个问题是检索流水线能否利用动作记录在更大的集合中找到相关时刻。

每个结果的边界对该评估很重要。在杯子的例子中，一个四秒的窗口可能捕捉到抓取但没有滑落，而另一个捕捉到掉落但没有接近。两者都可能返回相关片段，但研究人员在判断它展示了什么之前，仍然必须重建整个序列。

我们用时间交并比（tIoU）来衡量检索的这一方面：返回区间与参考动作之间的共享时间，除以两者覆盖的总时间。一个十秒动作内的四秒片段最多只能达到 0.4 tIoU，即使返回的每一帧都属于该动作。返回一个长得多的区间则会造成相反的问题，它保留了事件，但加入了无关活动，这也会降低时间一致性。目标是检索到一个边界良好的动作，同时保持周围录像可供查看。

100 小时检索告诉我们的信息

为了在更大规模上评估检索，我们在一个由 Lightwheel 的 EgoStandard 策划的 100 小时基准上比较了八条流水线，该基准包含 2,835 个视频、11,369 条文本查询和 17,967 个参考区间。该语料库以第一人称视角捕捉人类活动，参考区间标识录像中的单个动作。

我们如何比较这些流水线

每条流水线用相同的文本查询搜索相同的视频，并返回最多 50 个带时间戳的候选结果。不同之处在于它如何划分视频、表示每个区间以及对结果排序。

VideoDB 动作分割 + 搜索生成带有描述和时间边界的动作记录，然后根据查询检索并排序这些记录。该方法将语义搜索与源链接区间连接起来，如我们的搜索架构报告所述。

AWS Nova 通过 Amazon Bedrock Knowledge Bases 使用 Nova 2 Multimodal Embeddings，返回由提供商管理的带时间戳的视频片段。Twelve Labs 使用 Marengo 3.5 视觉片段嵌入及其嵌入服务返回的开始和结束时间。Twelve Labs 支持自己的时间分段。Marengo 的 512 维嵌入经过归一化，并使用 FAISS 在本地搜索。

对于本地比较，我们选择了五个突出的开放嵌入模型：SigLIP2、Qwen3-VL Embedding、Cosmos-Embed、InternVideo2 和 PE-AV。我们编码以 2 FPS 采样的四秒窗口，每个完整窗口给出八个帧样本，并使用每个模型的原生预处理。我们使用 FAISS 作为本地向量索引来存储归一化嵌入。

什么算作成功结果

我们以两种方式对前 K 个结果评分，两者都要求在同一源视频中匹配：

• Hit@K 使用最小重叠阈值。至少一个返回区间必须与参考动作重叠 min(0.5 秒，参考时长的 50%)。对于持续十秒的动作，仅半秒重叠就足够；对于 0.4 秒的动作，阈值为 0.2 秒。这是一种宽松的重叠检查，因此可能只计为一个片段而未捕获完整动作。
• 时间 IoU 0.5 或 0.75 下的 Hit@K 使用更严格的时间重叠阈值。至少一个结果必须满足共享时间与总覆盖时间的指定比率。区间的开始和结束位置都会影响该分数：遗漏动作的一部分或在动作之外包含额外片段会降低时间 IoU。更高的阈值要求更接近的时间一致性。

两个指标都报告至少有一个合格结果的查询百分比。区别在于一个结果要被计为匹配需要多少时间一致性。

VideoDB 在 Hit@1、Hit@5 和 Hit@10 上领先，Hit@10 为 40.39%，而 AWS Nova 为 35.40%，Twelve Labs 为 32.87%。其在时间匹配检索上的领先优势更大：在 Hit@10（tIoU ≥ 0.5）上，VideoDB 达到 20.49%，约为次优流水线 10.01% 的 2.05 倍。在更严格的 0.75 阈值下，它达到 12.83%，约为次优流水线 3.37% 的 3.81 倍，并在每个报告的 IoU 合格列中领先。

在宽松重叠规则下，AWS Nova 和 Twelve Labs 实现了更高的 Hit@50。在两个 tIoU 阈值下的 Hit@K 中，VideoDB 在每个报告的检索深度上都领先，这要求检索到的区间与参考动作更紧密地匹配。

对于审查搜索结果的研究人员来说，早期排名和时间一致性是有用的属性，因为它们决定了什么最先出现以及它包含多少动作。该比较评估每个完整流水线，包括其表示、时间单元和排名。

搜索结果不是训练决策

当我们回到杯子传递这个例子时，相关性与适用性之间的区别就变得清晰了。一次成功的尝试可以帮助研究人员比较不同的方法和抓取方式，一次失败的尝试可以支持诊断，而一次恢复动作可能对另一个学习目标有用。这三者都可能属于搜索结果，但要决定哪些应该进入训练，需要检查序列并理解其来源中可用的监督信息。

每个选定的时间区间都应携带足够的上下文，以解释它来自哪里、为什么被选中，以及打算如何使用。这包括来源片段、时间戳、其标签的来源，以及审查者的决定。在可用的兼容机器人观测、动作和状态的情况下，选择应保留它们与视频的关系，以及解释它们所需的控制模式。这使得当实验成功、失败或出现意外回归时，可以重新审视某个选择。

经验的来源也限制了它的使用方式。人类视频可以支持视觉表示、任务结构或语义监督，但它不会自动提供机器人控制目标。同样，一次失败的动作可能对诊断有信息价值，但并不是合适的行为克隆目标。检索应帮助研究人员做出这些区分，而不是把每个相关片段都当作可互换的训练数据。

现有研究展示了动作结构可以为学习做出贡献的几种方式。π0.5 将语义子任务监督与低级动作学习相结合，而 SARM 使用子任务标注进行阶段和进度监督，然后使用学习到的奖励来过滤和重新加权演示。COLLAGE 通过多种检索线索和任务特定加权来处理演示选择。这些方法使用不同的学习目标，但每一种都明确了所选或标注经验的作用。

搜索还可以帮助调查策略版本之间的变化。如果一个新的检查点似乎更频繁地掉落杯子，研究人员可以检索与每个版本相关的尝试，并在相似条件下比较抓取、滑落和恢复。这有助于区分可能的策略回归与物体或硬件的变化，而一致的结果标签和尝试次数为衡量它提供了基础。

这种比较随后可以指导下一个数据决策：在受影响的条件下选择成功的抓取，审查恢复示例，或者如果这些案例缺失，则收集新的演示。更一般地说，当可用的录制没有覆盖研究人员需要研究的行为时，搜索可以帮助将宽泛的更多数据请求转化为具体的收集目标。

VideoDB 的动作边界是否有助于其他嵌入模型？

在同一个 100 小时基准测试上，我们还使用 VideoDB 的动作边界比较了五个嵌入模型，这些边界在上文的时间 IoU 检索指标中处于领先。我们没有把视频划分为四秒窗口，而是给 Cosmos-Embed、SigLIP2、PE-AV、Qwen3-VL Embedding 和 InternVideo2 提供相同的动作区间，让每个模型对区间内的原始帧进行编码。只有分段是共享的；每个模型计算自己的嵌入。将这些结果与每个模型的四秒窗口得分进行比较，可以看出区间选择对检索的影响有多大。

该比较使用相同的语料库、查询和参考区间。每个模型的结果如下。

四秒窗口与 VideoDB 动作区间对比，按模型

数值为查询成功率百分比。

显示五个嵌入模型的前 10 个结果。

在所有五个测试的嵌入模型中，用 VideoDB 动作区间替换四秒窗口，都能在每个报告的深度上改善时间匹配检索。在前 10 个结果中，成功率在 tIoU ≥ 0.5 时提升 1.71–3.57×，在 tIoU ≥ 0.75 时提升 3.15–6.33×。这一改进跨越了不同编码器，支持了以下假设：时间区间的选择与嵌入模型一样，是检索设计的重要组成部分。

当检索根据动作的时间边界进行评估时，改进最为一致。Hit@K 只要结果达到最低重叠阈值就计为一次命中，即使它只覆盖了动作的一小部分。时间 IoU 则要求与参考区间更接近。在这种更严格的度量下，VideoDB 动作区间在每个报告的深度上都改善了所有五个编码器的检索，显示出在检索与所搜索动作更匹配的区间方面具有一致的收益。

在下一个模型上衡量进展

我们更广泛的目标是通过减少将记录的机器人经验转化为有用训练选择所需的工作量，让模型版本之间的工作更快。VideoDB Action Segmentation + Search 帮助研究人员在录像中定位相关动作，检查其上下文，并决定哪些示例属于下一次实验。我们希望研究人员花更少的时间寻找证据，花更多的时间测试下一个策略应该学习什么，这样他们已收集的经验就能成为下一个模型更好的基础。