arXiv·· 12 天前AI 评分29
解读 Diffusion Transformer 中的上下文 Token：用 LLM 读取 MM-DiT 中间表征
Learning to Read the Contextual Tokens in Diffusion Transformers
AI 导读
研究提出一种通过自然语言提问读取多模态 Diffusion Transformer（MM-DiT）上下文空间的框架，训练轻量瓶颈网络将中间上下文 token 映射到冻结 LLM 的输入空间，让 LLM 直接回答关于生成中图像的问题。该方法针对生成过程中经多模态注意力反复更新、功能尚不明确的动态文本 token。
来源：arXiv · arxiv.org