arXiv cs.CL· Haolong Zheng, Maike Z\"ufle, Dominik Mach\'a\v{c}ek, Peter Pol\'ak, Xulin Fan, Xavier Sumba, Siyin Wang, Ond\v{r}ej Klejch, Mark Hasegawa-Johnson·· 9 天前AI 评分30
SteerablePlex：全双工语音模型能否被有效引导？
SteerablePlex: Can We Steer Full-Duplex Models?
AI 导读
研究提出 SimIF-Bench 基准，评估对话模型能否在既定场景内按顺序完成多项目标，结果显示当前开源全双工模型难以遵循此类约束。团队进一步提出基于 GDPO 的训练方案，使全双工模型在保持轮次切换能力的同时遵循对话中的文本指令，所得模型 SteerablePlex 接入异步后端语言模型后，构建出比现有开源模型和 GPT-Realtime 更可靠遵循多阶段约束的可控用户模拟器。
正文 · AI 翻译
摘要：全双工语音模型可以同时聆听和说话，从而实现自然交互，但随着对话历史增长，其可控性会变得越来越差。当用作用户模拟器时，这种可控性的缺乏会导致它们偏离预设场景，并产生不可靠的评估结果。我们提出了 SimIF-Bench（模拟器指令遵循基准），用于评估对话模型是否始终处于预设场景内，并按要求的顺序完成多个目标。该基准表明，当前的开源全双工模型难以遵循此类约束。随后，我们提出了一种基于组奖励解耦归一化策略优化（GDPO）的训练方案，使全双工模型能够在进行中的对话中遵循文本指令，同时保持其轮流发言能力。通过将由此得到的 SteerablePlex 连接到一个异步后端语言模型（该模型监控对话并在需要时提供指令），我们构建了一个更可控的全双工用户模拟器，其遵循多阶段约束的可靠性优于现有开源模型和 GPT-Realtime。
| Comments: | 5 页，2 幅图 |
| Subjects: | 音频与语音处理（eess.AS）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.12201 [eess.AS] |
| （或 arXiv:2610.12201v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12201 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Haolong Zheng [查看邮箱]
[v1]
2026年10月8日星期四 15:56:28 UTC（149 KB）
来源：arXiv cs.CL · arxiv.org