arXiv cs.CL· Yuxuan Chen, Yang Xiao, Jack Sun, Chak Sun, Brick Li, Sam·· 2 天前AI 评分26
全双工语音语言模型的参考引导轮流说话风格迁移
Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models
AI 导读
研究者从全双工语音语言模型自身对话中提取出一个晚期层残差流方向——"主动性向量"，无需训练或标注即可读取并调控模型的说话决策，提前最多 800 ms 预判话轮起始。生成时缩放该向量可将语音占比从 6-12% 提升至 42-61%（不干预时为 21-30%），且跨对话、权重和语料保持一致。仅需一段简短参考录音即可将说话人的轮流说话风格迁移给模型，换用他人参考时 93-98% 的情况下匹配变差。
正文 · AI 翻译
摘要：全双工口语语言模型在每一帧都决定是否发言，从而定义了一种对话个性——然而每一组权重恰好只编码一种个性，而人类说话者则是将其置于括号中而非共享。现有的控制大多从外部起作用；没有一个能识别出决定模型说话多少的量。我们识别出了它：一个单一的深层残差流方向，即主动性向量，从模型自身的对话中提取，无需训练或标注。同一方向既能读取该决策，提前最多 800 毫秒预测起始，也能改变它：在生成过程中进行缩放，可将语音比例从 6-12% 移动到 42-61%（不引导：21-30%），并且在对话、权重和语料库中保持一致。一段简短的参考录音就足以将说话者的轮次转换风格迁移到模型，而且这种迁移是参考特定的：换用另一位说话者的参考会在 93-98% 的情况下使匹配变差，而最佳的统一剂量与不引导无法区分。轮次转换风格并非冻结在权重中，而是一个可以按人读取、改变和校准的方向。音频示例可在 此 https URL 获取。
| 评论： | 5 页，4 幅图。已投稿至 ICASSP 2027。音频示例：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；声音（cs.SD） |
| 引用为： | arXiv:2610.20763 [cs.CL] |
| （或 arXiv:2610.20763v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20763 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuxuan Chen [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 18:12:58 UTC（522 KB）
来源：arXiv cs.CL · arxiv.org