arXiv cs.AI· Jiaqi Tang, Yi-Feng Wu, Yuting Zhang, Hao Lu, Bowen Fu, Qing-Guo Chen, Xiaogang Xu, Yuwei Hu, Shiyin Lu, Wei Wei, Lei Zhang, Zhao Xu, Weihua Luo, Qifeng Chen, Ying-Cong Chen·· 9 天前AI 评分24
UniData：通用多模态指令生成流水线
UniData: Universal Multimodal Instruction Generation Pipeline
AI 导读
UniData 是一个通用指令生成流水线，可将简单用户需求转化为多轮、多模态指令，并借助 any-to-any 大模型生成数据，通过修正无关与冗余推理流提升质量。团队同时构建了覆盖九种模态、含 20,000 条数据的 UniDataset，实验显示 UniData 在数据质量上达到 SOTA，并能增强其他多模态模型的理解与生成能力。该工作已被 EMNLP 2026 Findings 接收。
正文 · AI 翻译
作者：Jiaqi Tang、Yi-Feng Wu、Yuting Zhang、Hao Lu、Bowen Fu、Qing-Guo Chen、Xiaogang Xu、Yuwei Hu、Shiyin Lu、Wei Wei、Lei Zhang、Zhao Xu、Weihua Luo、Qifeng Chen、Ying-Cong Chen
摘要：多模态大语言模型（MLLMs）正日益应用于更广泛的现实场景。然而，由于高昂的人力成本，为 MLLMs 创建高质量的多模态指令数据集仍然是一项重大挑战。尽管一些方法提出生成指令数据，但它们往往在模态支持方面存在局限，并且难以生成多轮指令。为解决这些问题，我们提出了 UniData，一个通用指令生成流水线，可将简单的用户需求转化为多轮、多模态指令。具体而言，UniData 首先将用户需求扩展为多个多样化事件。随后，UniData 利用这些事件，集成一个任意到任意的大型模型进行多模态指令生成。最后，UniData 通过纠正无关和冗余的推理流程，并利用指令轮次之间的关联性，提升数据质量。为训练该流水线，我们还构建了 UniDataset，一个涵盖九种模态、包含 20,000 条条目的数据集，以改进多模态生成。我们的实验表明，UniData 在数据质量上达到 SOTA 性能，并且还能增强其他多模态模型的理解与生成能力。
| 评论： | 被 EMNLP 2026 Findings 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11363 [cs.AI] |
| （或使用 arXiv:2610.11363v1 [cs.AI] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.11363 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jiaqi Tang [查看电子邮件]
[v1]
2026年10月8日星期四 06:52:24 UTC（1,208 KB）
来源：arXiv cs.AI · arxiv.org