arXiv cs.AI· Shreya Rajpal, Michal Golovanevsky, Carsten Eickhoff·· 3 天前AI 评分22
PRISM：标签引导的程序性与教学视频高效摘要框架
Less is More: Label-Guided Efficient Summarization of Procedural and Instructional Videos
AI 导读
PRISM 是一个零样本、免训练的程序性视频摘要框架，仅选取不到 5% 的视频帧即可保留超过 84% 的语义内容，较基线最高提升 7.5%。它通过轻量视觉过滤和动态生成的过程标签作为语义锚点，筛选有意义的帧-标签组，减少传入下游视觉语言描述阶段的视觉输入。该工作在 YouCook2、ActivityNet Captions 及外科手术视频数据集上验证了语义对齐与准确率表现。
正文 · AI 翻译
摘要：视频摘要将长视频转化为更易于记录和分析的简洁表示，在外科培训等高风险领域尤为重要。然而，长视频通常需要密集的帧处理或监督式训练流程，这可能计算成本高昂，并且仍可能遗漏重要的流程内容。我们提出 PRISM：通过集成语义与多模态分析进行流程表示，这是一个用于帧高效流程视频摘要的零样本、免训练框架。PRISM 仅选择不到 5% 的视频帧，同时保留超过 84% 的语义内容，并相较基线最高提升 7.5%。PRISM 并非穷尽式地处理帧，而是使用轻量级视觉过滤和动态生成的流程标签作为语义锚点，以选择有意义的帧-标签组。这种选择性推理设计保留了关键动作、转场和上下文细节，同时减少了传递给下游视觉-语言描述阶段的视觉输入数量。我们在 YouCook2 和 ActivityNet Captions 上评估 PRISM，并额外进行了关键帧选择基准和外科手术视频数据集的研究。在流程性和特定领域视频任务中，PRISM 实现了强大的语义对齐和准确性，表明通过将生成建立在动态生成的语义锚点上，可以实现高效的多模态视频理解。
| 评论： | 18 页，6 幅图 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2601.12243 [cs.CV] |
| （或 arXiv:2601.12243v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.12243 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shreya Rajpal [查看电子邮件]
[v1]
2026年1月18日星期日 03:41:48 UTC（2,548 KB）
[v2]
2026年1月30日星期五 00:36:33 UTC（2,548 KB）
[v3]
2026年10月11日星期日 02:06:57 UTC（2,502 KB）
来源：arXiv cs.AI · arxiv.org