Oddin:统一多模态模型中的潜在视觉推理框架
热点事件持续更新
Oddin:统一多模态模型中的潜在视觉推理框架
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Jaeyong Ko、Hankyeol Kim 和 Pilsung Kang 提出 Oddin 框架,让统一大语言多模态模型(ULMMs)在理解分支内完成视觉推理:中间步骤用紧凑的 latent token 表示,不再生成中间图像,生成分支只负责输出最终图像。 该框架通过离线自蒸馏训练,目标由三部分组成:最终图像生成损失、文本蒸馏损失,以及特殊 token 的交叉熵损失。 在七个 VBVR-Pro 视觉推理任务上,Oddin 的平均表现超过交错生成基线和闭源 VLM。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
Oddin:统一多模态模型通过图像生成自蒸馏实现潜在视觉推理报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.AIOddin:统一多模态模型通过图像生成自蒸馏实现潜在视觉推理
Oddin 提出一种在统一大语言多模态模型(ULMMs)中实现潜在视觉推理的框架,用紧凑的 latent token 替代中间图像、全部交由理解分支处理,生成分支只负责输出最终图像。模型通过离线自蒸馏训练,结合最终图像生成损失、文本蒸馏损失和特殊 token 的交叉熵损失三项目标。在七个 VBVR-Pro 视觉推理任务上,Oddin 平均表现超过交错生成基线和闭源 VLM。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。