Hugging Face Daily Papers· Hongyuan Tao·· 18 天前AI 评分33
Multimodal Flow:在嵌入空间统一建模语言与视觉的流模型
Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces
AI 导读
Multimodal Flow 是一个完全连续的语言与视觉生成模型,在嵌入空间中以统一的连续架构完成多模态预训练,避免离散视觉 token 带来的量化瓶颈,也无需按模态区分目标函数与采样流程。现有统一多模态模型要么把语言和量化图像都当作离散 token,要么用离散语言预测搭配连续图像生成。
来源:Hugging Face Daily Papers · huggingface.co