arXiv cs.CL· Sean Diab·· 3 天前AI 评分32
Reviser：用自回归光标动作写作与编辑文本
Reviser: Writing and Editing Text with Autoregressive Cursor Actions
AI 导读
研究者提出 Reviser，一个仅解码器 Transformer，通过插入、移动、删除、停止等光标动作在画布上写作和编辑文本，动作由确定性执行器应用，且对自身动作自回归，单步开销与 AR 步骤相同。
正文 · AI 翻译
摘要：语言模型从左到右一次性写出文本，而以其他顺序写作的模型（如扩散语言模型）则需付出多次全序列前向传播的代价。我们提出 Reviser，一种仅解码器 Transformer，它通过光标动作（插入、移动、删除、停止）来编写和编辑文本，这些动作由确定性执行器应用于画布。Reviser 对其自身动作自回归，因此一步的开销与自回归（AR）一步相同。我们训练 Reviser 进行文本续写，包括一种自我纠错方法：输入一个错误 token 再将其删除；并训练 Reviser-Edit 来修订草稿，然后将二者分别与在相同数据上训练的同等规模 AR 模型进行比较，使用三个 LLM 评判员对截断到相同长度的续写进行评估。Reviser-Edit 在 CoEdIT SARI 上优于其匹配的 AR 重写器（100M 时 +7.2，300M 时 +4.5；两个随机种子结果一致），且解码步数和延迟仅为其三分之一，不过 AR 重写器在语法纠正方面更好。在续写任务中，Reviser 以极小的计算量击败了规模相近的扩散语言模型（62-74% 胜率）；三位评判员中有两位更偏好其 AR 孪生模型，一位在 100M 规模上略微偏好 Reviser。Reviser 能填补其留下的空缺，并以 0.85-0.87 的概率退格删除刚输入的重复 token。
| 评论： | 42 页。代码：此 https URL。检查点：此 https URL。轨迹回放：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.20830 [cs.CL] |
| （或 arXiv:2609.20830v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.20830 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sean Diab [查看邮箱]
[v1]
2026年7月23日星期四 00:54:26 UTC（82 KB）
[v2]
2026年10月14日星期三 03:50:37 UTC（109 KB）
来源：arXiv cs.CL · arxiv.org