arXiv cs.CL· Guangfu Guo, Xiaoqian Lu, Linsey Pang, Weiran Yao, Haolin Chen, Long Cheng, Kunpeng Liu·· 10 小时前AI 评分31
RangeSWA：面向连续扩散语言模型的无训练长度外推方法
RangeSWA: Training-Free Length Extrapolation for Continuous Diffusion Language Models
AI 导读
RangeSWA 是一种无需训练的长度外推方法，用于解决连续扩散语言模型在生成长度超过训练长度时出现的文本重复、语义漂移和质量下降问题。该方法结合局部滑动窗口注意力、远端块摘要与动态内容检索，并通过位置重映射、条件注意力修正和去噪阶段自适应窗口调度缓解外推带来的生成退化。在多个连续扩散语言模型上的实验显示，RangeSWA 能有效降低长文本生成的生成困惑度和文本重复率。
正文 · AI 翻译
摘要：连续扩散语言模型在文本生成任务中展现出良好潜力，但当生成长度超过训练长度时，容易出现文本重复、语义漂移和生成质量下降等问题。为应对这些挑战，我们提出 RangeSWA，一种无需训练的长度外推方法。该方法结合局部滑动窗口注意力、远程块摘要和动态内容检索，以保留局部细节并支持长程上下文访问。此外，通过位置重映射、条件注意力校正和去噪阶段自适应窗口调度，缓解了长度外推导致的生成退化。我们在多个连续扩散语言模型上进行了实验，结果表明 RangeSWA 能有效降低长文本生成中的生成困惑度和文本重复率。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.42084 [cs.CL] |
| （或 arXiv:2610.42084v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42084 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guangfu Guo [查看邮箱]
[v1]
2026年10月30日星期五 17:35:48 UTC（236 KB）
来源：arXiv cs.CL · arxiv.org