arXiv cs.CL· Dongseong Hwang, Prasanth Yadla, Kaan Elgin, Shifas Padinjaru Veettil, Sivanand Achanta, Dipjyoti Paul, Ramya Rasipuram, Tyler Johnson, Emad Soroush, Chung-Cheng Chiu, Zhifeng Chen·· 11 小时前AI 评分40
苹果 AFM 3 Core Advanced 如何用解耦时序深度扩散 Transformer 实现内存高效音频合成
Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
AI 导读
苹果为 Siri Expressive Voices 提出一种内存高效的音频合成架构，将语义音频 token 转为 RVQ 表示，并用单个可复用的 DiT 式深度解码器自回归生成全部 RVQ 层级。
正文 · AI 翻译
作者：Dongseong Hwang、Prasanth Yadla、Kaan Elgin、Shifas Padinjaru Veettil、Sivanand Achanta、Dipjyoti Paul、Ramya Rasipuram、Tyler Johnson、Emad Soroush、Chung-Cheng Chiu、Zhifeng Chen
摘要：Siri Expressive Voices 由 AFM 3 Core Advanced（Apple 最强大的端侧基础模型）驱动，可实时、完全在设备端合成丰富且可配置的语音。本文介绍了支撑该能力的内存高效音频合成架构：一个去分词器（detokenizer），它能在可扩展矩阵扩展（SME）严苛的计算与内存预算内，将基础模型输出的语义音频 token 转换为高保真音频。我们通过三组件设计将语义音频 token 转换为残差向量量化（RVQ）表示，即流式编码器、时间解码器和深度解码器，从而系统性地解耦时间处理与深度处理。一个可复用的深度解码器采用 Diffusion Transformer（DiT）风格的阶段条件，自回归地生成所有 RVQ 层级，取代了以往多解码器架构中每个层级专用的解码器；同时，固定窗口键值缓存的因果滑动窗口注意力使内存复杂度与序列长度无关，保持恒定。该去分词器部署在 AMX 上，每个生成步骤约耗时 10 ms，比实时快约 16 倍，峰值运行时内存仅为 21 MB，端侧资源为 329 MB，可实现 20-320 秒音频的连续流式合成。这种恒定且小巧的资源占用取代了传统基于 transformer 和 GAN 的方法中线性与二次方的内存增长。消融研究验证了关键架构组件，音频质量评估确认该架构在保持合成保真度的同时，相较现有方法实现了效率提升。它在 AFM 3 Core Advanced 中以 10 亿参数的激活规模运行，相较此前的端侧文本转语音系统，总体平均意见得分（MOS）提升 +0.28（4.15 对 3.87），对话语音提升 +0.42（4.24 对 3.82）。
| 评论： | 11 页，ICASSP |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2607.23811 [cs.SD] |
| （或 arXiv:2607.23811v3 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.23811 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Prasanth Yadla [查看邮箱]
[v1]
2026 年 7 月 26 日周日 19:20:01 UTC（980 KB）
[v2]
2026 年 8 月 17 日周一 17:56:26 UTC（981 KB）
[v3]
2026 年 11 月 2 日周一 18:54:20 UTC（981 KB）
来源：arXiv cs.CL · arxiv.org