RePlaid为连续扩散语言模型建立首个缩放规律
热点事件持续更新
RePlaid为连续扩散语言模型建立首个缩放规律
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Zhihan Yang等作者提出连续扩散语言模型 RePlaid，称其首次为连续扩散语言模型（DLM）建立了可与离散 DLM 相比的缩放规律。研究把基于似然的连续扩散模型 Plaid 与现代离散 DLM 架构对齐后构建 RePlaid，并报告其与自回归模型的计算差距仅 20 倍，在更少参数下优于 Duo，在过训练区间优于 MDLM。 这些结论来自作者在统一设定下的对比，说明连续扩散路线在语言建模上可与离散扩散竞争。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
RePlaid 证明连续扩散模型在语言建模上可与离散扩散竞争报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.CLRePlaid 证明连续扩散模型在语言建模上可与离散扩散竞争
研究者将基于似然的连续扩散语言模型 Plaid 与现代离散 DLM 架构对齐，构建出 RePlaid，并首次为连续 DLM 建立可与离散 DLM 相比的 scaling law：与自回归模型的计算差距仅 20×，在更少参数下优于 Duo，并在过训练区间优于 MDLM。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。