arXiv cs.AI· Mohammed Shabot, Jonathan Adams, Jan Van den Stock, Joost Vennekens·· 3 天前AI 评分20
用 LLM 在下载前预筛视频：面向低成本视频数据集构建
Towards Cost-Efficient Video Dataset Construction with Large Language Models
AI 导读
研究提出在下载视频前用 LLM 基于元数据预筛候选视频，以降低存储、时间和标注成本。LLM 预筛以四名独立标注者的严格多数投票为基准，并用 Gwet's AC1 验证标注可靠性，同时与两种关键词启发式基线对比。团队通过 LOO 与 AORI 机制评估 LLM 作为虚拟标注者的表现，并报告了相对现有方法的成本对比，实现已在 GitHub 开源。
正文 · AI 翻译
摘要：视频分类模型的研究近来显著增长，随之而来的是对训练此类模型所需数据集需求的显著增加。现有的视频数据集整理方法存在一个共同的瓶颈：候选视频必须先下载才能进行任何相关性判断，这导致了存储、时间和标注成本。在这项工作中，我们提出了一个过滤步骤，使用大型语言模型（LLM）基于视频的元数据对视频进行预筛选，然后再实际下载这些视频，从而节省这些成本。我们根据四位独立标注者得出的严格人类多数投票来评估 LLM，并通过标注者间一致性分析（Gwet's AC1）验证标注的可靠性。我们将 LLM 预过滤器与两个无 LLM 基线（即两种关键词启发式方法）进行比较。通过留一评分者法（LOO）机制和加一评分者法（AORI），我们评估 LLM 作为虚拟标注者的性能。最后，我们报告了与现有方法相比的成本比较。为确保可复现性，我们将实现发布在 github 上。
| 评论： | 18 页，9 个表格，1 张图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16857 [cs.CV] |
| （或 arXiv:2610.16857v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16857 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mohammed Shabot [查看电子邮件]
[v1]
2026年10月12日星期一 14:26:44 UTC（6,286 KB）
来源：arXiv cs.AI · arxiv.org