dSpark:调度蒸馏加速扩散语言模型
热点事件持续更新
dSpark:调度蒸馏加速扩散语言模型
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Aidar Myrzakhan 与 Zhiqiang Shen 提出 dSpark,一种基于调度蒸馏的框架,让扩散语言模型学习“何时提交 token”以加速生成。该方法优先揭示能让其他位置更易预测的 token,并把这一调度蒸馏进模型,同时用 KL 散度正则项保持生成质量。 在 GSM8K 上,dSpark 在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别实现 10.12 倍和 5.12 倍加速,同时保持更优的任务表现。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
dSpark:用调度蒸馏让扩散语言模型学会何时提交 token报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.CLdSpark:用调度蒸馏让扩散语言模型学会何时提交 token
研究者提出 dSpark,一种基于调度蒸馏的框架,通过学习"何时提交 token"来加速扩散语言模型生成。该方法优先揭示能让其他位置更易预测的 token,并将调度蒸馏进模型,配合 KL 散度正则项保持生成质量。在 GSM8K 上,dSpark 在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别实现 10.12 倍和 5.12 倍加速,同时保持更优的任务表现。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。