arXiv cs.CL· Yuxuan Chen, Yang Xiao, Jack Sun, Chak Sun, Brick Li, Sam·· 11 小时前AI 评分31
超越双轨：面向全双工对话的说话人锚定恢复方法
Beyond Two Tracks: Speaker-Anchored Full-Duplex Dialogue Recovery
AI 导读
研究者提出一种说话人锚定路由模块，在扩散生成前将分离器的粗粒度语音流匹配到固定注册身份并排序，无需重训生成器即可修正音轨归属漂移。该模块仅 1.84M 参数，在 25 分钟远程对话上将错误音轨时间从 43.9% 降至 4.1%，固定音轨活跃度 F1 从 0.46 提升至 0.84，且逐块重建质量不变。
正文 · AI 翻译
摘要：语音交互正从轮流发言转向全双工对话，即智能体在说话的同时也在聆听。学习这种协调需要具有持续、按说话人解析的轨道的自然对话，而这一数据要求在规模化条件下仍难以满足。生成式恢复提供了一条从普通录音入手的途径，但恢复出两个声音还不够：随着对话展开，它们的轨道分配可能会漂移。我们在扩散之前通过说话人锚定路由来弥补这一缺失环节：一个 1.84M 参数的模块将分离器的粗粒度流与固定的注册身份相匹配，并在冻结的生成器重建语音之前对它们排序，无需重新训练生成器，也不改变重建的音频。在 25 分钟的远程对话中，路由将错误轨道时间从 43.9% 降至 4.1%，低于匹配注册波形重识别的 6.2%，其最大优势出现在一位参与者主导发言时（17.8% 对 28.6%），并将固定轨道活动 F1 从 0.46 提升至 0.84，而逐块重建质量保持不变。同一路由器可迁移到未见过的面对面和电话录音，一个边际门控验证步骤将其错误轨道时间降至 0.9-1.7%，同时仅嵌入 20-36% 的输出，而完整重识别会嵌入全部输出。因此，恢复的语音成为全双工对话建模所需的参与者一致轨道。音频示例：此 https URL
| 评论： | 5 页，3 幅图，2 张表。已提交至 ICASSP 2027。音频示例：此 https URL |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.27109 [cs.SD] |
| （或 arXiv:2610.27109v1 [cs.SD] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.27109 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuxuan Chen [查看电子邮件]
[v1]
2026 年 10 月 19 日星期一 18:09:47 UTC（1,747 KB）
来源：arXiv cs.CL · arxiv.org