arXiv cs.CL· Yingzhuo Deng, Chong Li, Bingxin Liu, Yi Shu, Tianyu Peng, Can Xie, Siyao Song, Shuo Ren, Jiajun Zhang·· 2 天前AI 评分31
CoSTA：面向高效语音对话模型的压缩语音 token 适配
CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
AI 导读
CoSTA 是一个兼容性保持的后处理框架，通过均值初始化词表扩展、发音适配和对话适配，将语音对话模型的生成与合成 token 空间解耦，同时保留原有语音 tokenizer 和解码器。在双语语音对话基准上，CoSTA 实现约 1.7 倍语音 token 生成速度提升，降低完整响应延迟并提高吞吐量，同时保持回复质量。实验还显示其具备跨架构迁移能力，并与低速率 tokenization 形成互补。
正文 · AI 翻译
摘要：口语对话模型（SDM）通常共享一个语音 token 空间用于生成和合成，导致自回归序列过长、推理成本高昂。低速率语音 tokenizer 可缩短序列，但可能带来压缩与质量之间的权衡，并且在不打破这种耦合的情况下替换成本高昂。为解决这一局限，我们提出 CoSTA，一种保持兼容性的后置框架，将生成与合成的 token 空间解耦，同时保留原有的语音 tokenizer 和解码器。CoSTA 通过均值初始化的词表扩展、发音适配和对话适配，用压缩表示扩展生成 token 空间，随后在合成前确定性地扩展回原始语音 token 空间。在双语语音对话基准上，CoSTA 实现了约 $1.7\times$ 的语音 token 生成速度提升、更低的全响应延迟和更高的吞吐量，同时保持响应质量。分析表明，在有限预算下交互更持久，并在压缩、解码效率与质量之间实现了实际可行的权衡。进一步实验证明了跨架构迁移能力以及与低速率 tokenization 的互补性。
| Comments: | 31 页，11 幅图。代码：this https URL |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；声音（cs.SD） |
| Cite as: | arXiv:2610.21143 [cs.CL] |
| （或 arXiv:2610.21143v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21143 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Yingzhuo Deng [查看邮箱]
[v1]
2026年10月15日星期四 03:00:10 UTC（298 KB）
来源：arXiv cs.CL · arxiv.org