arXiv cs.CL· Pulak Kuli·· 10 天前AI 评分22
Moshi 全双工语音模型的情感引导遵循几何结构而非标签
Steering Follows Geometry, Not Labels: Emotion Directions in a Full-Duplex Speech Model
AI 导读
研究者在全开源全双工语音语言模型 Moshi 上测试了四种情感的激活引导，采用均值差激活引导，每帧仅需少量向量加法且无需重训练。情感可从 Moshi 的残差流中线性解码，但激活引导只能部分实现且不均衡：happy、angry 和 surprise 引导向共享方向，而 sad 可被独立引导。三个情感共享的成分无法简单地等量从所有情感中投影剔除。
正文 · AI 翻译
摘要：全双工语音智能体需要在实时对话中调节情绪和表达方式，例如在缓和投诉时、在调度中传达紧迫感时、在软化临床结果时。情绪和表达控制已在 TTS 和轮次式模型中通过提示条件合成、参考条件合成和激活引导得到充分研究；PersonaPlex 在双工模型中控制身份，但不控制情感。
我们研究了 Moshi（一个完全开源的全双工语音语言模型）中四种情绪的情绪引导，使用均值差激活引导，每帧仅需几次向量加法，且无需重新训练。
我们表明，情绪可以从 Moshi 的残差流中线性解码，但激活引导只能部分实现，且实现程度不均衡；因为高兴、愤怒和惊讶引导向一个共享方向，而悲伤则具有明显可引导性。我们还表明，这三种情绪之间的共享成分不能简单地以相同方式从所有情绪中投影消除。
| 评论： | 被 NeurIPS 2026 实时对话智能体研讨会（RTCA），悉尼接收。OpenReview：此 https URL |
| 主题： | 计算与语言（cs.CL）；声音（cs.SD） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.08887 [cs.CL] |
| （或 arXiv:2610.08887v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08887 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Pulak Kuli [查看电子邮件]
[v1]
2026年10月6日星期二 15:29:37 UTC（53 KB）
来源：arXiv cs.CL · arxiv.org