arXiv cs.AI· Xiaofei Sun, Peng Wang, Huayao Liu, Xiaoxiao Xu, Jun Song, Deqing Li, Lin Qu·· 10 小时前AI 评分38
Omni-Encoder：用一套共享 SigLIP-2 参数统一图像、视频、音频与视听表征
When Does Sharing Work? Scaling a Shared SigLIP2 Across Image, Video, Audio, and Audio-Visual Representations
AI 导读
Omni-Encoder 用单个全参数共享的 SigLIP-2 Vision Transformer 统一处理图像、视频、音频和视听输入，所有模态端到端联合优化，而非事后绑定到冻结锚空间。
正文 · AI 翻译
摘要：对比式预训练推动了图文理解的发展，但图像、视频和音频编码器仍各自独立训练，跨模态对齐主要通过事后绑定到冻结的锚点空间来实现。我们提出 Omni-Encoder，这是一种通用多模态编码器，在单个 SigLIP-2 Vision Transformer 中以完全共享的参数处理图像、视频、音频和视听输入。与以锚点为中心的绑定或按模态适配器不同，所有模态都进行端到端联合优化，且该框架从输入到训练进行组织。模态原生输入阶段首先将每种信号映射到共享嵌入空间，其中包括一个一维卷积音频分词器，将梅尔频谱图转换为与视觉 patch 对齐的 token。随后，由绝对时间戳参数化的多模态旋转位置嵌入将视觉帧和音频片段置于统一的时空坐标系中。最后，交替模态训练将图像、视频、音频和时间对齐的视听批次交错排列，并将其梯度累积为一次更新，我们发现这对稳定的联合优化至关重要。Omni-Encoder 用一套共享参数在全部四种模态的 16 个基准上取得了有竞争力的结果，且联合训练使每种模态都优于其单独训练的对应版本。代码和模型将公开发布。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05406 [cs.CV] |
| （或 arXiv:2611.05406v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05406 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaofei Sun [查看电子邮件]
[v1]
2026年10月20日星期二 11:19:25 UTC（59 KB）
来源：arXiv cs.AI · arxiv.org