arXiv cs.AI· Aditya K Surikuchi, Raquel Fern\'andez, Sandro Pezzelle·· 3 天前AI 评分22
从视觉事件生成自然语言：现状与关键开放问题
Natural Language Generation from Visual Events: State-of-the-Art and Key Open Questions
AI 导读
这篇综述提出，从图像或视频帧序列生成自然语言的任务，本质上都是对随时间展开的视觉事件与语言特征之间复杂关系建模这一更广义多模态问题的实例。作者考察了五个看似不同但同属该问题的任务，梳理了近年代表性建模与评估方法及其共同挑战，并据此提出关键开放问题与未来研究方向。
正文 · AI 翻译
摘要：近年来，视觉基础自然语言处理领域的大量工作聚焦于现实世界的多模态场景，例如描述图像或视频中所呈现的内容。然而，相对而言，针对这些场景中不同模态之间相互作用的性质与程度的研究则较少受到关注。在本文中，我们认为，任何处理从图像或帧序列生成自然语言的任务，都是对随时间展开的视觉事件与用于解释、描述或叙述这些事件的语言特征之间复杂关系进行建模这一更广泛、更普遍问题的一个实例。因此，解决这些任务要求模型能够识别并处理此类复杂性。我们考察了五个看似不同的任务，并认为它们是这一更广泛多模态问题的有力实例。随后，我们综述了近年来针对这些任务所采用的代表性建模与评估方法，并审视了这些任务所提出的共同挑战。基于这一视角，我们指出了关键的开放性问题，并为未来研究提出了若干研究方向。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2502.13034 [cs.CL] |
| （或 arXiv:2502.13034v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2502.13034 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aditya K Surikuchi [查看电子邮件]
[v1]
2025年2月18日星期二 16:48:18 UTC（2,470 KB）
[v2]
2025年5月25日星期日 13:02:56 UTC（11,304 KB）
[v3]
2025年8月19日星期二 20:12:30 UTC（11,277 KB）
[v4]
2026年10月11日星期日 18:19:04 UTC（11,605 KB）
来源：arXiv cs.AI · arxiv.org