DynaTE：通过动态 token 执行加速扩散 LLM

查看 PDF HTML（实验性）

摘要：基于扩散的大语言模型（dLLM）近来作为一种有前景的替代方案出现，它通过双向并行细化，缓解了自回归（AR）生成的顺序解码瓶颈。然而，其并行迭代细化与针对顺序解码优化的 AR 加速器不匹配，其离散 token 生成也与为连续去噪设计的 DiT 加速器不同。近期的 dLLM 加速器已探索了针对特定工作负载的优化，以减少词汇表处理开销和去噪迭代中的冗余计算。然而，这些方法在并行执行中保留所有 token，尽管各 token 的细化效用和执行需求各不相同。
本文提出 DynaTE，一种软硬件协同设计架构，可在 dLLM 解码过程中根据不断变化的 token 状态动态调整加速器执行。DynaTE 首先通过跳过低效用 token 计算实现自适应 token 执行，同时维度可重构的 PE 阵列在变化的活跃 token 模式下保持高利用率。其次，DynaTE 通过 FLDD 利用动态 token 依赖关系，在当前迭代内细化少量局部依赖的 token，减少整体去噪迭代次数，而 Merge--Split--Merge 数据流隐藏了由此产生的串行开销。第三，流式词汇表引擎将来自 LM head 的多个 token 流交织在一起，以应对选择性 token 计算和不均匀词汇表选择需求所导致的不规则输出变化。
在两个代表性 dLLM 上评估，DynaTE 相比最先进的 dLLM 加速器实现了 2.05--2.78$\times$ 的加速和 2.99--3.93$\times$ 的更高能效，同时相比 Jetson AGX Orin 实现了 2.55$\times$ 的加速和 6.07$\times$ 的更高能效。

学科：	硬件架构（cs.AR）；人工智能（cs.AI）
引用为：	arXiv:2610.11284 [cs.AR]
	（或 arXiv:2610.11284v1 [cs.AR] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.11284 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Minghan Jiang [查看邮箱]
[v1] 2026年10月8日星期四 05:49:50 UTC（1,288 KB）