arXiv cs.AI· Divyanshu Mishra, Sabine Sternig, Rakshith Shetty, Erhan Gundogdu·· 11 小时前AI 评分27
纯文本训练实现零样本视频时序定位：Qwen3-8B 与 NER 方法
Grounding in the Dark: Text-Only Training for Zero-Shot Video Temporal Localization
AI 导读
研究探索仅用文本视频描述训练无视觉预训练的 LLM 完成时序定位，推理时才接收视频。团队构建 134K 样本语料，用 LoRA 微调 Qwen3-8B，LLM2CLIP 文本嵌入在 Temporal-TextVid 上达 61.54 mtIoU，优于 CLIP 的 53.86。
正文 · AI 翻译
摘要：Video-LLM 通常基于成对的视频-文本数据针对时序任务进行训练，但收集精确的时序标注以及在大规模视频数据集上训练都成本高昂。我们研究一个仅使用文本的 LLM（不进行任何视觉-语言预训练）能否仅通过文本视频描述进行训练，从而执行时序定位，并且仅在推理时接收视频。这一设定完全移除了训练中的成对视频数据，是迈向无需成对标注训练多模态模型的一步。我们生成了一个包含多达 100 个时间步的 134K 示例文本序列语料库，在 CLIP 或 LLM2CLIP 文本嵌入上使用 LoRA 对 Qwen3-8B 进行适配，并在 Charades-STA 和 QV-Highlights 上评估，且未使用这两个基准中的任何视频进行训练。LLM2CLIP 的文本编码器支持更长的输入，比 CLIP 更能表示详细描述（在 Temporal-TextVid 上为 61.54 对 53.86 mtIoU），并且能更好地将其迁移到视频。尽管如此，在推理时将文本替换为帧嵌入，在 Charades-STA 上仅得到 4.99 mtIoU，在 QV-Highlights 上为 11.12，揭示出巨大的模态差距。为弥合这一差距，我们提出最近实体替换（NER），这是一种无需训练映射，用每个视频帧最近文本实体嵌入的归一化均值来表示该帧，从而使模型接收到与其训练时相同类型的输入。NER 在 Charades-STA 上达到 14.45 mtIoU，在 QV-Highlights 上达到 20.72，分别比四类模态差距基线中最强者高出 5.00 和 1.71 个点。因此，NER 实现了从文本到视频的部分迁移，而更可靠的定位可能仍需要文本与视觉表示对齐更好的编码器。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06149 [cs.CV] |
| （或 arXiv:2611.06149v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06149 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Divyanshu Mishra [查看电子邮件]
[v1]
2026年11月4日星期三 08:31:42 UTC（285 KB）
来源：arXiv cs.AI · arxiv.org