arXiv cs.CL· Longzhen Han, Awes Mubarak, Almas Baimagambetov, Nikolaos Polatidis, Thar Baker·· 11 小时前AI 评分26
多模态生成模型综述：六大生成类别与四类技术
A Survey of Generative Categories and Techniques in Multimodal Generative Models
AI 导读
一篇综述将多模态生成模型按图像、音乐、视频、人体动作、3D 物体等六类文本条件生成模态分类，并考察自监督学习、MoE、RLHF 与 CoT 提示四类技术在各类模态上的适配方式。综述围绕忠实性、组合性与鲁棒性组织评估，指出偏好提升未必改善文本相关性、奖励优化可能降低同一提示内的多样性，专家粒度会改变机制及存储、计算与运行时成本。文章还分析了偏见、隐私泄露与生成媒体滥用等可信风险及缓解策略证据。
正文 · AI 翻译
摘要：多模态生成模型（MGM）已迅速从文本生成扩展到涵盖图像、音乐、视频、人体动作和 3D 物体。本综述将六种主要的文本条件生成模态进行分类，并考察四种技术——自监督学习、专家混合、基于人类反馈的强化学习以及思维链提示——如何在这些模态中被适配，区分共享机制与实验支持的收益。我们围绕忠实性、组合性和鲁棒性组织评估，并在每项研究的协议内解释证据。所综述文献中选定的研究内比较支持四项发现：偏好收益不一定提升文本相关性，奖励优化可能降低提示内多样性；中间计划需要检验其在最终输出中的实现；专家粒度会改变机制及其存储、计算和运行时成本；针对优化分数的收益需要在该评分路径之外得到确认。我们进一步分析可信度风险，包括偏见、隐私泄露和生成媒体的滥用，并考察缓解策略的证据。
| 评论： | 修订版；已注明通讯作者 |
| 主题： | 多媒体（cs.MM）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2506.10016 [cs.MM] |
| （或本版本使用 arXiv:2506.10016v4 [cs.MM]） | |
| https://doi.org/10.48550/arXiv.2506.10016 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Longzhen Han [查看邮箱]
[v1]
2025 年 5 月 29 日星期四 12:29:39 UTC（2,356 KB）
[v2]
2025 年 6 月 13 日星期五 20:56:42 UTC（2,356 KB）
[v3]
2025 年 11 月 24 日星期一 16:26:13 UTC（2,516 KB）
[v4]
2026 年 10 月 20 日星期二 08:59:15 UTC（1,224 KB）
来源：arXiv cs.CL · arxiv.org