arXiv cs.AI· Anum Afzal, Yuki Saito, Hiroya Takamura, Katsuhito Sudoh, Shinnosuke Takamichi, Graham Neubig, Florian Matthes, Tatsuya Ishigaki·· 10 天前AI 评分27
多模态 LLM 实时游戏视频解说：基于停顿感知的解码方法
Real-Time Generation of Game Video Commentary with Multimodal LLMs: Pause-Aware Decoding Approaches
AI 导读
研究提出两种基于提示词的解码策略实现多模态 LLM 实时游戏视频解说：固定间隔解码与动态间隔解码，后者根据上一句话的预估时长调整下一次预测时机，无需微调即可实现停顿感知生成。在日语和英语赛车、格斗游戏数据集上，动态间隔解码生成的解说在时间与内容上更贴近人类解说。团队同时发布了多语言基准数据集、训练模型与实现代码。
正文 · AI 翻译
摘要：实时视频解说生成可对视频中正在发生的事件提供文本描述。它支持体育、电子竞技和直播等领域的可访问性和参与度。解说生成涉及两个基本决策：说什么以及何时说。尽管近期使用多模态大语言模型（MLLM）的基于提示的方法在内容生成方面表现出色，但它们在很大程度上忽略了时机方面。我们研究了仅靠上下文提示是否能够支持既语义相关又时机恰当的实时解说生成。我们提出了两种基于提示的解码策略：1）固定间隔方法，以及2）一种新颖的基于动态间隔的解码方法，该方法根据上一句话的估计时长来调整下一次预测的时机。这两种方法都能在无需任何微调的情况下实现感知停顿的生成。在赛车和格斗游戏的日语和英语数据集上的实验表明，基于动态间隔的解码仅使用提示就能生成与人类话语时机和内容更紧密对齐的解说。我们发布了一个多语言基准数据集、训练好的模型和实现，以支持未来关于实时视频解说生成的研究。
| 评论： | 已被 LREC2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.02655 [cs.CL] |
| （或 arXiv:2603.02655v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2603.02655 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Tatsuya Ishigaki [查看电子邮件]
[v1]
2026年3月3日星期二 06:39:04 UTC（6,051 KB）
[v2]
2026年10月6日星期二 13:18:40 UTC（11,506 KB）
来源：arXiv cs.AI · arxiv.org