跳到正文
热点事件持续更新

研究提出扩散Transformer跨层路由方法DAR

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Chao Xu等作者在 arXiv 发表研究,对 Diffusion Transformers(DiTs)的跨层信息流做系统实证分析,指出传统残差相加存在前向幅值单调膨胀、反向梯度急剧衰减和块间冗余三个问题,并提出即插即用的残差替代方案 Diffusion-Adaptive Routing(DAR)。据作者描述,DAR 对子层输出历史做可学习、随去噪时间步自适应的非增量聚合,用以替换原有残差相加。报道未给出该方法的实验效果数据。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.AI
    重新审视扩散 Transformer 中的跨层信息路由

    研究对 Diffusion Transformers(DiTs)的跨层信息流做系统实证分析,指出传统残差相加存在前向幅值单调膨胀、反向梯度急剧衰减和块间冗余三个问题,并提出即插即用的残差替代方案 Diffusion-Adaptive Routing(DAR),对子层输出历史做可学习、随去噪时间步自适应的非增量聚合。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。