arXiv cs.CL· Louis Robinson·· 11 小时前AI 评分34
Causal Edit Serialization：在因果 token 流中实现局部编辑的框架
Causal Edit Serialization
AI 导读
Causal Edit Serialization（CES）框架让自回归语言模型在同一因果 token 流内完成插入、删除、替换、复制和移动等局部编辑，通过特殊指针 token 配合预测的源地址实现定位。
正文 · AI 翻译
摘要：标准自回归语言模型按顺序生成文本，但修订需要回指输入上下文中的 token 或已生成的 token。因果编辑序列化（CES）被提出作为一个框架，用于在同一因果 token 流中表达此类修订。特殊指针 token 与预测的源地址配对，使插入、删除、替换、复制和移动能够被显式定位。一个轻量级定位头与双索引旋转位置编码同时支持地址预测和对先前发出的指针进行条件化，同时保留标准的因果注意力掩码。预训练过程将普通语言建模与源自随机损坏、模型生成编辑和重复文本的序列化修复相结合。在不同模型规模和编辑基线中，CES 模型展示了完整的已应用编辑，其干净文本的每字节比特数略高于干净自回归模型。监督和强化学习后训练提供了一个语法错误纠正的概念验证，在参考盲模型评判下产生有益变化多于有害变化。正确的修复程序还能改善后续文本预测，同时原始上下文及其缓存状态得以保留。CES 为生成和局部修订提供了一个通用接口，并有可能扩展到迭代细化和额外的指针寻址变换。
| 评论： | 37 页，包括附录和检查清单。代码：此 https URL；数据和检查点：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22820 [cs.CL] |
| （或 arXiv:2610.22820v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22820 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Louis Robinson [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 01:55:26 UTC（516 KB）
来源：arXiv cs.CL · arxiv.org