arXiv cs.AI· Yu Pan, Guangzhao Yang, Muhammad Huzaifah, Ningjie Bai, Shi Qiu·· 3 天前AI 评分24
JAL-Turn：面向全双工语音对话系统的实时鲁棒轮次切换检测联合声学-语言建模
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
AI 导读
JAL-Turn 是一个轻量级纯语音轮次切换检测框架，通过交叉注意力模块自适应融合预训练声学与语言表征，实现低延迟的 hold/shift 预测。它共享冻结的 ASR 编码器，使轮次预测与语音识别完全并行，几乎不增加端到端延迟。在 Easy-Turn、Smart-Turn 及内部日语客服数据集上，JAL-Turn 检测准确率媲美强基线，同时保持更优的实时性能。
正文 · AI 翻译
摘要：高效且鲁棒的轮次转换检测在工业级语音 AI 智能体中仍是一项重大挑战。现有系统通常仅依赖声学或语言线索，限制了准确性和稳定性，而直接赋予大语言模型全双工能力会带来沉重的数据和部署成本，阻碍实时使用。我们提出 JAL-Turn，一种基于联合声学-语言建模范式的轻量级纯语音轮次转换框架，其中交叉注意力模块自适应地融合预训练的声学和语言表示，用于低延迟的保持或转换预测。通过共享冻结的 ASR 编码器，JAL-Turn 使轮次转换预测能够与语音识别完全并行运行，几乎不引入额外的端到端延迟。我们进一步引入一种可扩展的流水线，可从大规模真实对话语料库中自动导出可靠的轮次转换标签。在公开的 Easy-Turn 和 Smart-Turn 基准以及内部日语客服数据集上的实验表明，JAL-Turn 在检测准确率上于强基线中取得了有竞争力的结果，同时保持了优越的实时性能。
| 评论： | 被 NCMMSC 2026 接收为口头报告 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.26515 [cs.CL] |
| （或 arXiv:2603.26515v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.26515 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yu Pan [查看电子邮件]
[v1]
2026年3月27日星期五 15:25:38 UTC（1,136 KB）
[v2]
2026年10月12日星期一 13:14:32 UTC（937 KB）
来源：arXiv cs.AI · arxiv.org