arXiv cs.CL· Jinghui Zhang, Lang Gao, Zongfang Liu, Ruihong Zeng, Zirui Song, Rui Yan, Kentaro Inui, Xiuying Chen·· 11 小时前AI 评分31
CopyGen：让冻结 LLM 精确复制长文本片段的复制约束解码方法
When Copying Is Hard: Copy-Constrained Decoding for Exact Span Reproduction
AI 导读
CopyGen 是一种面向冻结 LLM 的轻量级复制约束插件，将复制拆解为“何时复制、复制多远、何时停止”三个决策，在三个模型骨干和四项基准任务上无需微调即把平均 exact match 相对提升 35%，与 SFT 结合再提升 4%，并显著加速生成。
正文 · AI 翻译
摘要：在长上下文中逐字精确复现目标片段是 LLM 的一项基础能力测试：即使目标字符串存在于上下文中，模型仍常常在片段内漂移或无法正确停止，暴露出在源依据和边界控制方面的局限。这一能力具有广泛的实用价值。例如，代码生成常常需要按上下文中出现的原样嵌入 API 密钥等敏感字符串。在本工作中，我们构建了一个基准，用于测试在合同、科学文献、代码和随机序列中的精确片段复现能力，并发现当前模型仍会出人意料地频繁出错。为解决这一问题，我们提出 CopyGen，一种面向冻结 LLM 的轻量级复制约束插件，将复制从下一词元预测的副产品转变为受控过程。我们的核心思想是将复制分解为三个不同的决策：何时复制、复制多远以及何时停止。具体而言，CopyGen 首先判断是否进入复制模式，然后预测一个暂定复制长度，最后逐词元验证生成的片段。在验证过程中，我们自适应地调整复制延续词元的 logits，以激励或抑制延续，并且只输出最长的有效前缀。在三个 LLM 主干和四个基准任务上，CopyGen 在无需模型微调的情况下将平均精确匹配相对提升 35%，并与 SFT 无缝集成以进一步提升 4%，同时大幅加速生成。这些结果表明，可靠的精确复制并非 LLM 免费获得的能力，而是一个需要在解码时显式建模的控制问题。代码见 此 https URL。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28393 [cs.CL] |
| （或 arXiv:2610.28393v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.28393 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinghui Zhang [查看邮箱]
[v1]
2026年10月20日 星期二 15:40:54 UTC（1,481 KB）
来源：arXiv cs.CL · arxiv.org