arXiv cs.AI· Pengjun Fang, Jingyi Fa, Kam Man Wu, Jiaming Wang, Haoyuan Huang, Yaguang Wu, Xiangjun Huang, Ziyang Ma, Weijia Chen, Hongyu Liu, Zeyue Tian, Qifeng Chen·· 10 天前AI 评分27
WorldSonus：为世界模型带来实时空间音效
WorldSonus: Bringing Sound to Worlds
AI 导读
WorldSonus 是一个面向世界模型的交互式视频转音频框架，可实时合成空间音效，实时因子（RTF）低至 0.41。它采用流式因果自回归扩散架构，并通过以音频为中心的描述生成管线与分块索引提示词调度，支持生成过程中动态操控声音事件。该框架利用立体声与 ambisonic 数据监督实现空间对齐，在开放域视频转音频基准上匹配或超越当前最优的双向模型。
正文 · AI 翻译
作者：Pengjun Fang、Jingyi Fa、Kam Man Wu、Jiaming Wang、Haoyuan Huang、Yaguang Wu、Xiangjun Huang、Ziyang Ma、Weijia Chen、Hongyu Liu、Zeyue Tian、Qifeng Chen
摘要：世界模型的最新进展使得视觉合成越来越逼真。然而，这些生成的环境在很大程度上仍然是无声的。为世界模型引入声音面临三个核心挑战：实时生成以跟上交互式视频流、交互式控制以响应流中声音指令，以及空间对齐的立体声以反映场景几何和相机运动。为满足这些需求，我们提出了 WorldSonus，一个交互式视频到音频框架，专为世界模型中的实时空间声音合成而设计。对于实时生成，WorldSonus 采用流式因果自回归扩散架构，以 0.41 的低实时因子（RTF）合成音频块。对于交互式控制，我们结合了以音频为中心的描述生成流程与按块索引的提示调度，从而能够在生成过程中动态操控声音事件。对于空间对齐，我们利用了从多样化立体声和环绕声数据中整理出的高质量立体声监督。大量实验表明，虽然 WorldSonus 是为世界模型量身定制的，但它能有效泛化到开放域视频到音频基准，在声学质量和空间对齐方面达到或超越最先进的双向模型。项目页面：此 https URL
| Comments: | 25 页，4 幅图，16 张表。项目页面：此 https URL |
| Subjects: | 声音（cs.SD）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.08760 [cs.SD] |
| （或 arXiv:2610.08760v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08760 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Pengjun Fang [查看电子邮件]
[v1]
2026年10月6日星期二 17:50:18 UTC（10,428 KB）
来源：arXiv cs.AI · arxiv.org