免训练双稀疏扩散语言模型推理框架Duet提出
热点事件持续更新
免训练双稀疏扩散语言模型推理框架Duet提出
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Siyuan Yan等作者提出免训练双稀疏推理框架Duet，通过前缀KV稀疏与早期query稀疏降低块扩散语言模型的推理开销。 在32K上下文下，Duet在LLaDA2.1-mini上实现1.34倍端到端、2.83倍单步加速，在SDAR-8B-Chat-b32上实现2.41倍端到端、4.72倍单步加速，并保持有竞争力的准确率。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 13:00
Duet：面向块扩散语言模型的双稀疏推理框架报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- arXiv cs.CLDuet：面向块扩散语言模型的双稀疏推理框架
Duet 是一个免训练的双稀疏推理框架，通过前缀 KV 稀疏与早期 query 稀疏降低块扩散语言模型的推理开销。在 32K 上下文下，Duet 于 LLaDA2.1-mini 上实现 1.34×/2.83× 的端到端/单步加速，于 SDAR-8B-Chat-b32 上实现 2.41×/4.72× 加速，并保持有竞争力的准确率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。