arXiv cs.CL· Alexandros Christoforos, Chadbourne Davis, Paul Raj·· 10 小时前AI 评分31
双重预算下的稀疏文本扩散：上下文连通性与专家激活分析
Sparse Text Diffusion under Dual Budgets: Context Connectivity and Expert Activation
AI 导读
研究将长上下文扩散模型的成本拆为注意力图可用边数与每 token 激活专家数两项预算，提出 DualBudget 稀疏专家配置，并在科学摘要、多跳问答、对话和句对预测任务上分析。长度实验显示在 16K 以内优于所列基线，但随长度增加出现可测的性能退化；成本记录显示相对 DiffuSeq 降低 20%，但计时约定未说明。
正文 · AI 翻译
摘要：长上下文扩散会反复为 token 交互和前馈计算付出代价。我们将这些成本表述为两个独立的预算：注意力图可用的边，以及每个 token 激活的专家。这一视角将局部、膨胀和全局注意力与条件专家计算联系起来，而不假设仅靠稀疏性就能保留文档级信息。我们指定了归一化掩码注意力，区分去噪深度与采样迭代，并推导出图和计算边界。一个被报告的稀疏专家配置，记为 DualBudget，在科学摘要、多跳问答、对话和句子对预测中进行了分析。所有提供的表格测量值均被保留。长度研究表明，在 16K 以内相对于所列基线有增益，同时随着长度增加出现可测量的退化。消融实验显示三个报告分数出现混合变化，而成本记录表明在未指定的计时约定下相对于 DiffuSeq 降低了 20%。该分析将这些观察与关于训练速度、吸收状态、全局一致性和部署内存的未测量声明区分开来。
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.41487 [cs.CL] |
| （或 arXiv:2610.41487v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41487 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Paul Raj [查看电子邮件]
[v1]
2026年10月30日星期五 09:43:20 UTC（1,418 KB）
来源：arXiv cs.CL · arxiv.org