Omni-Encoder：共享参数统一多模态编码

Xiaofei Sun等作者提出Omni-Encoder，用单个全参数共享的SigLIP-2 Vision Transformer处理图像、视频、音频和视听输入，所有模态端到端联合优化，而非事后绑定到冻结锚空间。作者称代码与模型将公开发布。 该工作目前以预印本形式发布，尚未见同行评审或第三方复现结果，其统一编码的实际效果有待验证。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。