arXiv cs.AI· Siyin Wang, Wenyi Yu, Terumi Chiba, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang·· 2 天前AI 评分31
ELLSA 2：语音、表情与手势的全双工交互模型
Full-Duplex Interaction with Speech, Expressions and Gestures
AI 导读
ELLSA 2 是一个端到端全双工对话模型，可同时优化语音交互与流式手势-表情生成，在模型不说话时也能持续生成非语言动作。它采用自回归分块合成器，结合预训练声学特征与对话骨干网络、语音合成器中独立的聆听和说话隐藏状态，并通过上下文语义调用与模板引导区分语义手势的触发与实现。
正文 · AI 翻译
摘要：人类面对面交谈需要在说话和倾听时协调语音、手势和表情。我们提出 ELLSA 2，一个端到端全双工对话模型，可联合优化语音交互与流式手势-表情生成。一个自回归、分块式合成器将预训练声学特征与来自对话主干和语音合成器的不同倾听与说话隐藏状态相结合，使模型即使在言语沉默时也能持续生成非言语信息。为将对话理解转化为生动的语义手势，我们引入上下文语义调用和模板引导，将是否调用可用的语义手势与如何实现该手势区分开来。我们还建立了一套面向对话感知的共语手势生成的精选数据与评估流程，并研究了基于参考的多模态大语言模型（MLLM）作为自动评判者。实验表明，ELLSA 2 与开源全双工语音交互模型相比仍极具竞争力，并在对话感知手势和表情指标上优于级联基线。语义模板引导进一步显著提升了语义手势质量。与人类判断的强系统级相关性支持这些基于参考的分数作为全双工和语义手势评估的有用初步指标。总之，这些结果推动了对话建模从口语回应迈向协调的多模态交互。
| 评论： | 37 页，5 幅图 |
| 主题： | 音频与语音处理（eess.AS）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；声音（cs.SD） |
| 引用为： | arXiv:2610.21452 [eess.AS] |
| （或 arXiv:2610.21452v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21452 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siyin Wang [查看电子邮件]
[v1]
2026年10月15日星期四 07:54:33 UTC（2,000 KB）
来源：arXiv cs.AI · arxiv.org