arXiv cs.AI· Junnuo Wang, Weihan Xu, Hao-Wen Dong·· 11 小时前AI 评分31
Clips2Story：用多模态检索嵌入生成实现免训练视频分镜与编辑
Clips2Story: Training-Free Video Storyboarding and Editing Using Multimodal Retrieval-Embedded Generation
AI 导读
Clips2Story 是一个免训练、基于 LLM 的视频分镜流水线，可从无序视频片段池中按用户关键词生成短视频。它先为每个片段提取文本化多模态描述符并检索相关片段，再由 LLM 挑选排序成带连接旁白的可编辑分镜，最后组装片段并检索旁白配图合成视频。团队用 100 个长视频构建合成评测集，人工评估显示其在叙事连贯性、关键词对齐和整体真实感上优于强基线。
正文 · AI 翻译
摘要：视频编辑者经常需要处理大量零散的素材，并从中挑选、组织相关片段，构建连贯的故事。然而，许多现有的视频编辑与摘要方法都假设源视频在时间上是有序的，并力求保留其原有的叙事与时间结构。本文提出 Clips2Story，一种无需训练、基于 LLM 的流程，使用户能够从视频片段池中创建由关键词指定的短视频。给定一个片段池和用户指定的关键词，我们首先为每个片段提取基于文本的多模态描述符，并检索与关键词最相关的片段。随后，我们将这些候选片段的文本描述符提供给 LLM，由 LLM 挑选并排列它们，生成带有连接性旁白的可编辑故事板。最后，我们将选中的片段与为旁白检索到的配套视觉素材组合起来，构成输出视频。为评估所提出的流程，我们构建了一个合成评测数据集，该数据集来自五种类型的 100 个长视频，使用场景变化检测模型将每个视频切分为短片段，并打乱所得片段以消除其时间顺序。通过客观评估和定性示例，我们证明 Clips2Story 能够有效检索与关键词相关的片段，并基于用户指定的关键词构建连贯的故事板。人工评估进一步表明，Clips2Story 在叙事连贯性、关键词对齐度和整体真实感方面优于一个强基线。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）；多媒体（cs.MM） |
| 引用为： | arXiv:2611.05992 [cs.CV] |
| （或 arXiv:2611.05992v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05992 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junnuo Wang [查看邮箱]
[v1]
2026年11月4日星期三 05:37:16 UTC（4,756 KB）
来源：arXiv cs.AI · arxiv.org