arXiv cs.AI· Hankun Wang, Bohan Li, Shi Lian, Xiaoyu Gu, Jing Peng, Da Zheng, Yiwei Guo, Colin Zhang, Shuai Wang, Kai Yu·· 13 小时前AI 评分35
dots.tts.edit：基于连续自回归模型的精准可控语音编辑
dots.tts.edit: Precisely Controlled Speech Editing with a Continuous Autoregressive Model
AI 导读
dots.tts.edit 是一个基于连续自回归语音生成架构的语音编辑模型，采用半形式化的转写文本指令，将操作类别与参数绑定到转写片段或边界，无需显式时间戳对齐。
正文 · AI 翻译
摘要：面向内容创作的语音编辑需要精确控制编辑做什么以及在哪里应用。自由形式的自然语言为表达编辑请求提供了灵活的接口，但其歧义性可能导致预期操作、参数或目标区域未被充分指定。我们研究一种半形式化的、基于转录文本的编辑指令，它指定操作类别和参数，并将其绑定到转录文本的片段或边界。这种语义时间线避免了显式时间戳对齐，并为组合式编辑提供了可外部检查的契约。我们在 dots$.$tts$.$edit 中实例化了该接口，这是一个基于连续自回归语音生成架构构建的语音编辑模型。四种具有代表性的语音创作控制涵盖词汇内容、情感表达、音高和语速呈现，以及通过文本、情感、韵律和停顿编辑实现的时间措辞。任务特定的数据管道构建操作和范围受控的配对，同时在每个目标区域之外保留源自源音频的上下文。我们进一步引入了 doteBench，这是一个双语基准，用于衡量四种控制及其组合下的精确指令遵循、局部保持和音频质量。实验表明，在其五个编辑类别中，整体指令遵循和局部保持处于领先水平，同时音频质量与现有开源系统相当。在三个 Seed-TTS-Eval 分片上，该模型在零样本 TTS 识别错误率和说话人相似度方面与基础模型的差异可忽略不计。
| 主题： | 声音 (cs.SD)；人工智能 (cs.AI)；计算与语言 (cs.CL)；音频与语音处理 (eess.AS) |
| 引用为： | arXiv:2608.02673 [cs.SD] |
| （或 arXiv:2608.02673v4 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.02673 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hankun Wang [查看电子邮件]
[v1]
2026年8月2日星期日 15:03:37 UTC（319 KB）
[v2]
2026年8月11日星期二 17:29:29 UTC（323 KB）
[v3]
2026年9月28日星期一 12:47:03 UTC（353 KB）
[v4]
2026年10月28日星期三 18:58:32 UTC（1,231 KB）
来源：arXiv cs.AI · arxiv.org