arXiv cs.CL· Guoqiang Hu, Lichao Zhang, Yizhou Peng, Yuhao Luo, Haifeng Hu, Sallen Sun, Will Yang, Eng Siong Chng·· 12 小时前AI 评分31
把奖励积分掉，而不是采样它：全双工语音模型打断与附和行为的窗口似然方法
Integrate the Reward, Don't Sample It: Window Likelihood for Interruptions and Backchannels in Full-Duplex Speech Models
AI 导读
针对全双工语音对话模型在用户打断与附和时的让出/保持决策，研究提出窗口似然（WL）方法：每个窗口采样续写，但对停止决策做闭式积分，用 noisy-OR 建模让出、生存乘积建模保持，避免二值窗口奖励的零梯度陷阱与信用泄漏。
正文 · AI 翻译
摘要：全双工语音对话模型必须在用户插话时让出话轮，而在用户仅仅附和时保持话轮。带有时序奖励的序列级强化学习（GRPO）是通常的做法；我们在四个开放模型上测试了其整段 rollout 形式，并发现了两处失败。二值窗口奖励在恰恰最需要学习的窗口上给出零优势（零梯度陷阱），而每次 rollout 的单一分数被分摊到奖励并未以其为定义依据的聆听状态决策上（信用泄漏），导致模型对着沉默说话或停止回答。二者都源于对一个已知为少数二值控制决策函数的奖励进行采样。我们提出 \emph{窗口似然}（\WL）：对每个窗口采样一个续写，但对其经过的停止决策做闭式积分，并最大化正确行动的 log 概率——让出话轮用 noisy-OR，保持话轮用生存乘积。在 HumDial-FDBench 上，\WL\ 在我们后训练的六个结构不同的开放模型上均取得最佳的让出/保持 F1，超过 Kyutai 发布的 GRPO 检查点（在不同数据上训练），且在任何模型上都没有重新打开话轮底噪。
| 主题： | 音频与语音处理（eess.AS）；计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2610.35581 [eess.AS] |
| （或本版本的 arXiv:2610.35581v1 [eess.AS]） | |
| https://doi.org/10.48550/arXiv.2610.35581 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guoqiang Hu [查看邮箱]
[v1]
2026年10月26日星期一 15:14:03 UTC（243 KB）
来源：arXiv cs.CL · arxiv.org