arXiv cs.AI· Yi-Jen Shih, Puyuan Peng, Haohe Liu, David Harwath, Abdelrahman Mohamed·· 3 天前AI 评分22
RUBATO：解耦时钟让全双工模型以硬件极限速度思考
RUBATO: Decoupled Clocks Allow Full-Duplex Models to Think as Fast as They Can
AI 导读
RUBATO 是一种多流位置编码方法，为全双工语音模型的各条流分配独立时钟，实现流间完全解耦，使模型能在任意推理解码速度下零样本插值，训练仅需两种极端解码速度。
正文 · AI 翻译
摘要：近期的语音全双工（FDX）模型能够同时听和说，从而进行自然对话。在此基础之上，近期架构引入了内部思考流以增强其智能。为保证这些流能够实时成功处理，现有方法强制采用固定解码速率，这假定硬件配置具备特定延迟能力。我们认为这种静态方法严重次优。由于内部思考本质上是异步的，理想的 FDX 模型应在维持实时对话流的同时，允许每个流以其硬件自适应的速率进行解码。思考流必须在硬件允许的范围内尽快处理，以更快地给出准确答案。为解决这一问题，我们提出 RUBATO，一种新颖的多流位置编码，为各流分配独立时钟，从而将其完全解耦。这种结构隔离使模型能够在任意推理解码速度下进行零样本插值。它通过仅需在两种极端解码速度上进行训练，就大幅简化了数据集构建，同时在部署时能平滑适应任意中间速率。RUBATO 在五项口语推理任务上展现出持续稳健性。在 Spoken GSM8K 上，基线模型在插值速度下准确率骤降至 1.7%。相反，RUBATO-Full 在所有速率下保持 48.7% 至 51.1% 的准确率，利用更快的硬件实现 6.5 倍更短的答案生成时间，同时保持恒定的首次响应时间。这一优势在 BIG-Bench Audio 上依然成立，并在复杂的全双工打断场景中显著放大。具体而言，当用户在模型正在说话和推理时插话，RUBATO-Full 达到 40.0% 至 45.1% 的准确率，而基线则完全失败。
| 主题： | 音频与语音处理（eess.AS）；人工智能（cs.AI）；计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2610.14299 [eess.AS] |
| （或 arXiv:2610.14299v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14299 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yi-Jen Shih [查看邮箱]
[v1]
2026年10月9日星期五 20:21:42 UTC（466 KB）
来源：arXiv cs.AI · arxiv.org