跳到正文
热点事件持续更新

MoDDiT:扩散Transformer的简单token路由

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Jarek Liesen 等作者提交论文,提出 MoDDiT:对扩散 Transformer 做架构改动,让 token 分别经过 MLP 和自注意力两条路径,从而按 token、图像和去噪时间步动态分配 MLP 计算量,最少只处理 12.5% 的 token。 作者称,该改动让模型学习把 token 路由到 MLP 与自注意力两条路径,而不是对所有 token 均匀投入 MLP 计算。报道未给出该路由在生成质量或速度上的实测结果。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.AI
    MoDDiT:Diffusion Transformers 中的简单 Token 路由

    MoDDiT 通过架构改动让 token 独立经过 MLP 和自注意力两条路径,实现按 token、图像和去噪时间步动态分配 MLP 计算量,最少仅处理 12.5% 的 token。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。