arXiv cs.CL· Ziyin Zhang, Yuyu Guo, Ying Zhang, Siqiao Xue, Zihan Liao, Jin Qin, Wenjie Yang, Siyuan Yang, Shijie Li, Cheng Chen, Hao Wu, Zhaoyang Zhu, Ruipeng Li, Zhaokun Jiang, Lei Lei, Rui Wang, Hang Yu, Rui Wang·· 10 小时前AI 评分31
从碎片化到融合：全模态嵌入研究综述与路线图
From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings
AI 导读
一篇立场论文提出全模态嵌入研究正因对比学习、Transformer 架构与粒度转变而走向收敛，并给出覆盖、可比、组合三级能力框架。对应三条统一路径为变换扩大覆盖、对齐实现可比、联合嵌入指向组合性，作者将联合嵌入视为终点。论文称这是首个对全模态嵌入研究的统一跨领域梳理。
正文 · AI 翻译
作者：Ziyin Zhang、Yuyu Guo、Ying Zhang、Siqiao Xue、Zihan Liao、Jin Qin、Wenjie Yang、Siyuan Yang、Shijie Li、Cheng Chen、Hao Wu、Zhaoyang Zhu、Ruipeng Li、Zhaokun Jiang、Lei Lei、Rui Wang、Hang Yu、Rui Wang
摘要：嵌入模型是几乎所有现代 AI 系统的基础，从搜索引擎到推荐系统皆然。尽管共享数学基础，嵌入模型的研究仍因模态而割裂：各社区基本各自为战，鲜少交流洞见。我们认为，这种割裂掩盖了更深层的趋同。在对比学习、Transformer 架构和粒度转变的驱动下，跨模态的嵌入研究正趋向一套共同原则，尽管模态特有的挑战仍未被充分探索。为了在不混淆这种趋同的前提下对其进行跨模态推理，我们提出了一个由三项难度递增的能力构成的框架：覆盖性、可比性和组合性。通往统一的三条路径依次满足这些能力：变换拓宽覆盖范围，对齐实现可比性，而联合嵌入——我们所主张的终点——旨在实现组合性。这篇立场论文梳理了由此产生的演进，首次对全模态嵌入研究进行了统一、跨领域的论述。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.00172 [cs.CL] |
| （或 arXiv:2611.00172v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00172 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziyin Zhang [查看邮箱]
[v1]
2026年10月30日星期五 14:07:34 UTC（3,726 KB）
来源：arXiv cs.CL · arxiv.org