arXiv cs.AI· Yinyi Luo, Haoyue Bai, Yi Ge, Nilton Cesar Rojas Vales, Marios Savvides, Jindong Wang·· 11 小时前AI 评分38
FlexUMM：面向统一多模态模型的灵活表征学习框架
FlexUMM: Flexible Representation Learning for Unified Multimodal Models
AI 导读
FlexUMM 是一个模型无关的功能插件式统一多模态模型框架，可动态决定何时保留共享计算、何时路由专用容量、何时停止进一步处理。它通过减少理解与生成功能间的表征竞争提升准确率，并在输入表征足够成熟后跳过冗余计算以提升效率。代码已开源。
正文 · AI 翻译
摘要：统一多模态模型（UMMs）能够在单一主干中整合理解与生成能力。然而，众所周知，这两种能力可能导致表征冲突，从而引出一个核心问题：表征与计算应如何在各项功能之间共享？现有的 UMMs 往往依赖大体固定的结构，不同的输入与功能遵循相同的深度和参数共享模式。我们认为这一假设过于严格：更有效的统一需要在共享支撑跨功能通信的计算的同时，对任务特定或输入特定的容量进行专门化。我们提出 FlexUMM，一个灵活的 UMM 框架，能够动态决定何时保留共享计算、何时路由专门化容量，以及何时停止进一步处理。证据表明，这种灵活分配在两个互补维度上改进了 UMMs：它通过减少功能之间的有害竞争来提升准确率，并通过在输入表征足够成熟后避免不必要的计算来提升效率。除了基于预训练模型的简单架构统一之外，FlexUMM 还可作为一种模型无关的功能插件，使现有 UMMs 更加统一、更强大、更高效。代码见：此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22682 [cs.AI] |
| （或本版本的 arXiv:2610.22682v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.22682 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yinyi Luo [查看邮箱]
[v1]
2026年10月15日 星期四 21:52:23 UTC（2,723 KB）
来源：arXiv cs.AI · arxiv.org