arXiv cs.AI· Youngtaek Oh, Qiyu Wu, Hiromi Wakaki, Junmo Kim, Yuki Mitsufuji·· 9 天前AI 评分23
Syn-Omni：面向全模态嵌入的结构化专精与渐进协作框架
Syn-Omni: Structured Specialization and Progressive Collaboration for Omnimodal Embeddings
AI 导读
Syn-Omni 是一个面向全模态嵌入的统一框架，通过 Orthogonal Modality-Expert LoRA（OME-LoRA）将适配分解为共享 LoRA 路径与模态专家 LoRA 路径，并用 Progressive Synergy Routing（PSR）让专家先建立模态先验再逐步跨模态协作。
正文 · AI 翻译
摘要：全模态嵌入天然涉及异构输入间的共享表示与模态特有特征。然而，现有的全模态嵌入方法通常依赖混合模态数据上的单一共享参数空间，限制了通用表示与模态特有表示之间的结构分离。为解决这一问题，我们提出 Syn-Omni，一个用于结构化全模态适配的统一框架，兼具模态特化与受控的跨模态协作。具体而言，我们引入正交模态专家 LoRA（OME-LoRA），将适配分解为用于通用语义的共享 LoRA 路径和用于模态感知特化的模态专家 LoRA 路径。此外，渐进协同路由（PSR）使专家先建立模态特有先验，再逐步与其他模态专家交互以实现跨模态协同。在涵盖图像、视频、音频和视听模态的 81 项多样化任务上评估，Syn-Omni 持续优于全模态基线，证明了结构化特化与跨模态渐进协作的有效性。
| 评论： | 已被 EMNLP 2026 接收（长文，Findings）。代码：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.12256 [cs.CV] |
| （或 arXiv:2610.12256v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12256 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Youngtaek Oh [查看邮箱]
[v1]
2026年10月8日星期四 16:26:03 UTC（666 KB）
来源：arXiv cs.AI · arxiv.org