RangeSWA：扩散语言模型免训练长度外推

Guangfu Guo 等作者提出免训练长度外推方法 RangeSWA，用于解决连续扩散语言模型在生成长度超过训练长度时出现的文本重复、语义漂移和质量下降问题。 该方法结合局部滑动窗口注意力、远端块摘要与动态内容检索，并通过位置重映射、条件注意力修正和去噪阶段自适应窗口调度缓解外推带来的生成退化。作者在多个连续扩散语言模型上的实验显示，RangeSWA 能降低长文本生成的生成困惑度和文本重复率。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。