arXiv cs.CL· Jaival Chauhan, Vikram Singh, Pruthwik Mishra·· 11 小时前AI 评分22
基于大语言模型的自动化视频转QA流水线：端到端问题生成与验证
Automated Video-to-QA Pipeline: End-to-End Question Generation and Verification Using Large Language Models
AI 导读
该研究提出一条端到端自动化流水线，从视频中提取结构化摘要并生成高质量问答对：先用 FFmpeg 抽取音频、Whisper 转写，再由 BART 分段摘要，并用 Llama-3.1-8B-Instruct 生成候选 QA 对后回灌模型自验证，仅保留通过验证的高质量样本。
正文 · AI 翻译
摘要：YouTube 等平台上教育性和信息性视频内容的指数级增长，为高效的知识检索与评估带来了挑战。本文提出了一套端到端自动化流水线，用于从视频流中提取结构化摘要并生成高保真问答（QA）对。该框架集成了一系列最先进的模型：音频提取通过 FFmpeg 完成，随后使用 Whisper（Python 中的一个库）进行自动语音识别（ASR）以生成准确的转录文本。由于大语言模型（LLM）存在 token 限制，转录文本使用 Facebook 的 BART 进行分段和摘要。本工作的一项关键创新是自验证与微调循环。我们利用 meta-llama/Llama-3.1-8BInstruct 从转录文本块中生成候选问答对，再将其反馈给模型，以严格评估其相关性和重要性。仅保留经过验证的高质量问答对来构建合成数据集。该数据集随后用于通过低秩适配（LoRA）微调 Llama 模型，从而得到一个能够生成领域对齐评估问题的专用模型。该方法展示了一种无需人工数据标注即可创建自我改进教育工具的可扩展方法。所提出的模型可从 Kaggle 下载，所有代码可从 GitHub 获取。
| 评论： | 4 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07755 [cs.CL] |
| （或 arXiv:2611.07755v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07755 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pruthwik Mishra [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 10:00:50 UTC（7 KB）
来源：arXiv cs.CL · arxiv.org