arXiv cs.AI· Yuyue Wang, Xihua Wang, Xin Cheng, Yijing Chen, Ruihua Song·· 10 小时前AI 评分38
PlanAudio：从自由文本提示统一生成语音与音效
Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts
AI 导读
PlanAudio 是一个端到端框架，可直接将无约束的自由文本提示映射为统一的语音与音效音频，无需上游提示词分解或改写。该框架在单一自回归架构中集成隐式规划，先预测连续音频布局再合成声学 token，并构建大规模训练语料与 Free-Form Unified Audio Generation Benchmark（FUAG）。
正文 · AI 翻译
摘要：生成能够自然融合语音与声音、且由自由形式文本提示驱动的统一音频仍然具有挑战性。例如，提示“``A fast drum roll ends with a cymbal crash, after which a man shouts: `Come on!'.''”描述了若干应按顺序出现的事件，并构成一段连贯的录音，而非缺乏连贯时间与语义交互的独立音轨。当前方法大致遵循两种范式：流水线方法将独立的文本到声音模型与文本到语音模型耦合，而统一模型依赖单一生成器，但仍需要结构化的多字段提示输入。两种范式都需要上游的提示分解或改写，限制了自由形式的灵活性并存在级联错误的风险。为在单一模型内实现从自由形式提示直接生成，我们提出 PlanAudio，一个端到端框架，将无约束的自由形式文本映射为统一音频，无需中间提示预处理。为应对直接自由形式生成的挑战，PlanAudio 将潜在规划集成到单一自回归框架中，在声学 token 合成之前预测连续的音频布局。我们构建了大规模训练语料，并引入自由形式统一音频生成基准（FUAG）用于评估，二者均涵盖语音、声音以及语音与声音联合生成。实验表明，单一 PlanAudio 在语音与声音生成上优于现有的流水线和统一基线，同时在语音和声音生成上与专用模型保持竞争力。进一步分析验证了音频布局规划相较于文本规划、声学规划和直接生成的有效性。样例可用：this https URL。
| 评论： | 被 NeurIPS 2026 接收。本版本重命名了概念、重组了章节并修正了方法符号；增加了消融实验和核心机制分析；用更大的训练数据更新了表 1（在语音与声音混合场景中提升了语音性能）。主要结论保持不变 |
| 主题： | 声音 (cs.SD)；人工智能 (cs.AI)；多媒体 (cs.MM) |
| 引用为： | arXiv:2605.28063 [cs.SD] |
| （或 arXiv:2605.28063v2 [cs.SD] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.28063 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuyue Wang [查看邮箱]
[v1]
2026年5月27日星期三 07:15:35 UTC (6,129 KB)
[v2]
2026年11月10日星期二 07:32:24 UTC (1,750 KB)
来源：arXiv cs.AI · arxiv.org