arXiv cs.AI· Bagzhan Karl, Alizhan Karl·· 1 天前AI 评分34
Kezek：将双人单声道对话拆分为逐说话人音轨，用于全双工对话数据
Kezek: Splitting Mono Two-Person Conversations into Per-Speaker Tracks for Full-Duplex Dialogue Data
AI 导读
Kezek 可将恰好两人的单声道录音拆成每人一条音轨，保持原始长度与时序，重叠语音和“yeah”“mm-hm”等短回应留在说话人自己的音轨上。
正文 · AI 翻译
摘要：全双工语音对话模型从每位说话人各用一个声道录制的对话中学习话轮转换、重叠和反馈语，但大多数可用的对话音频是单声道混音。我们提出 Kezek，该模型可将恰好两人的单声道录音转换为每人一条音轨，并保持原始长度和时序；重叠和简短回应（“yeah”、“mm-hm”）保留在说出它们的人的音轨上。Kezek 对整个录音一次性决定谁在何时说话以及谁是谁（阶段 1：一个双语音活动模型，由经过训练对相位不敏感的说话人指纹引导），而条件时域分离器只执行该决定（阶段 2），其输出始终求和等于输入。标准分离指标会遗漏对对话数据至关重要的失败情况，因此我们报告短回应保留率、泄漏到对方独白、声道互换和覆盖率。在相同录音上与开源流水线 pyannote -> DialogueSidon 相比，Kezek 保留了更多短回应（Open Yap 测试集上 0.83 对 0.69；在来自 CallHome English 的未见电话语音上，对方语音上的保留率为 0.80 对 0.71），主要因为它返回整个录音，而外部流水线会丢弃一部分（在两者都返回的音频上，回应保留率大致相同：Open Yap 上 0.859 对 0.865）；它的泄漏更少，声道互换更少，运行速度快 4-5 倍（每 GPU 小时约 230 小时音频）。我们还报告了负面结果和理想掩码上限，以定位剩余差距：较响声音下的安静回应。代码和权重以宽松许可证发布。
| 评论： | 18 页，15 张表，2 张图。代码：此 https URL ；权重：此 https URL ；试听示例：此 https URL |
| 主题： | 音频与语音处理 (eess.AS)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.16933 [eess.AS] |
| （或 arXiv:2611.16933v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16933 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bagzhan Karl [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 15:19:35 UTC（67 KB）
来源：arXiv cs.AI · arxiv.org