arXiv cs.CL· Shu Ishida, Aliasghar Khani, Tianyu Zhang, The Cong Luong, James Seale Smith, Adam Gaier·· 6 天前AI 评分27
AutoIndexer：通过在编辑链上训练因果模型实现灵活顺序解码
AutoIndexer: Flexible-Order Decoding by Training Causal Models on Chains of Edits
AI 导读
AutoIndexer 是一种模拟 Chain of Edits 的生成模型，通过 token 插入、替换和删除在生成后灵活修改先前输出，弥补自回归解码无法回溯修改、扩散 LLM 无法灵活增删 token 的不足。
正文 · AI 翻译
摘要：自回归解码不太适合非因果顺序的数据，例如交叉引用或未来依赖，因为与人类迭代推理不同，其输出无法事后修改。扩散 LLM 部分缓解了这一局限，但仍无法从预生成的上下文中灵活插入或删除任意数量的 token。我们设计了 AutoIndexer，这是一种具有新颖训练和解码机制的生成模型，它模拟编辑链（Chain of Edits），使模型能够通过 token 插入、替换和删除，事后灵活修改其先前的输出。该模型学习预测用于开启和关闭编辑的标记 token，同时将光标移动到现有 token 序列中的位置，类似于文本编辑器。训练序列通过使用逆链式编辑操作扰动真实标签获得，模型通过撤销这些逆操作来学习编辑。扰动训练使 AutoIndexer 对错误上下文具有鲁棒性，并能适应代码纠错等编辑任务。我们证明，我们的方法展现出大多数自回归和扩散模型所缺乏的生成后上下文编辑能力，同时不影响在标准 LLM 基准上的性能。代码可在 此 https URL 获取。
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12545 [cs.CL] |
| （或 arXiv:2610.12545v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12545 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shu Ishida [查看电子邮件]
[v1]
2026年10月8日星期四 17:59:52 UTC（646 KB）
来源：arXiv cs.CL · arxiv.org