arXiv cs.CL· Akinori Tanaka, Yukinao Akamatsu, Takuki Tomita, Yuji Hirono·· 2 天前AI 评分22
扩散语言模型作为开放量子系统：Superposition of Prompts 与 Quantum-Inspired Remasking
Diffusion Language Models as Open Quantum Systems
AI 导读
研究将扩散语言模型的连续时间前向与反向动力学嵌入开放量子系统框架，构建 τ-leaping 解缠方案，在每步同时更新多个 token 位置，实现基于叠加提示（SoP）和叠加思维（SoT）的生成。
正文 · AI 翻译
摘要：扩散语言模型通过对 token 序列上的经典扩散过程进行逆向来生成文本。我们表明，其连续时间前向与逆向动力学可以嵌入开放量子系统的框架中，该框架描述量子系统与其环境的相互作用。这一联系为将扩散采样扩展到句子态的叠加以及修改底层生成动力学提供了基础。我们构建了一种 $\tau$-leaping 解缠方案，在模拟这些状态的随机轨迹的同时，在每一步更新多个 token 位置。这使得能够以叠加的提示或思维为条件进行生成，我们称之为提示叠加（SoP）与思维叠加（SoT）。同一形式化方法还产生了量子启发式重掩码（QIR）：扰动掩码扩散动力学可产生一种基于置信度的规则，用于修正先前生成的 token。使用预训练扩散语言模型的实验表明，基于叠加的生成能够保留最终测量时未被选中的条件组件中的信息，而 QIR 在生成的适当阶段应用时可提升 LLM 评估的文本质量。
| 评论： | 48 页，8 幅图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；量子物理（quant-ph） |
| 报告编号： | RIKEN-iTHEMS-Report-26 |
| 引用为： | arXiv:2610.21672 [cs.LG] |
| （或本版本引用 arXiv:2610.21672v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.21672 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Akinori Tanaka [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 10:57:07 UTC（3,035 KB）
来源：arXiv cs.CL · arxiv.org