arXiv cs.AI· Zijian Jia, Peixuan Zhang, Genying Li, Di Wu, Yujie Fu, Si Li, Boxin Shi, Shuchen Weng·· 11 小时前AI 评分31
LLaCO：面向大语言模型的竞争感知语义调度连续扩散框架
LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling
AI 导读
LLaCO 提出一种面向大语言模型的连续扩散生成框架，通过竞争感知语义调度解决连续轨迹中 token 身份衰减被压缩在噪声端点附近窄窗口的问题。该框架采用球面加噪与测地插值消除嵌入范数衰减，并按对数秩衰减比例重新分配去噪轨迹。以 8B 模型实例化后，LLaCO 超越此前连续扩散基线，并可与同规模离散扩散模型竞争。
正文 · AI 翻译
摘要：连续扩散模型已成为在连续嵌入空间中进行文本生成的一种有前景的非自回归范式。沿着连续轨迹，残差 token 身份直接影响去噪目标。然而，几何轨迹与时间进程并不对齐，从而引发严重的时间压缩。本文表明，嵌入范数衰减会导致欧氏距离产生虚假超越，这说明 token 竞争必须按方向进行评估。在该空间中，只有当有效噪声幅度超过候选 token 与源 token 之间的语义间隔时，候选 token 才会超越源 token。我们将这些成对动态形式化为竞争阈值理论（Competition Threshold Theory，CTT）。关键在于，高维超越需要极高的噪声水平，这导致标准轨迹将身份衰减集中在靠近噪声端点的狭窄窗口内。为解决这一问题，我们提出语义保留调度（Semantic Retention Scheduling，SRS），使时间分配与身份衰减的进程对齐，并证明现有的 token 身份指标本质上是这些成对交叉的统计聚合。基于这些理论洞见，我们提出 LLaCO，一个由竞争感知语义调度驱动的生成框架。LLaCO 通过嵌入方向适配器和时间步条件调制，将预训练骨干网络适配到连续表示。为了在方向空间中运行，LLaCO 采用球面加噪过程，该过程被表述为朝向掩码偏置端点的测地线插值，从而消除范数衰减，同时保持准确的 token 竞争。在 SRS 的引导下，LLaCO 按对数秩衰减的比例重新分配去噪轨迹。LLaCO 以 8B 模型形式实现，优于先前的连续扩散基线，并可与同等规模的离散扩散模型相媲美。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32604 [cs.AI] |
| （或 arXiv:2610.32604v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32604 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zijian Jia [查看邮箱]
[v1]
2026年10月23日星期五 13:28:40 UTC（463 KB）
来源：arXiv cs.AI · arxiv.org