arXiv cs.CL· Wenqian Cui, Xiao-Hui Li, Daxin Tan, Qiyong Zheng, Irwin King·· 10 小时前AI 评分31
TextPro-SLM：从输入侧缩小模态差距，让语音 LLM 具备韵律感知的文本 LLM 能力
Minimizing Modality Gap from the Input Side: Your Speech LLM Can Be a Prosody-Aware Text LLM
AI 导读
TextPro-SLM 从输入侧缩小语音大模型的模态差距，在 3B 和 7B 规模下均取得领先 SLM 中最低的模态差距，并在副语言理解任务上表现强劲。该模型结合统一语音编码器 WhisperPro（同步输出文本 token 与韵律嵌入）与保留原 TLM 语义能力的 LLM 主干，仅用约 1,000 小时 LLM 训练音频即达成上述效果。论文已被 NeurIPS 2026 接收，代码已开源。
正文 · AI 翻译
摘要：语音大语言模型（SLM）通常基于文本大语言模型（TLM）检查点构建，但仍存在显著的模态差距。此前的工作主要尝试从输出侧缩小这一差距，使语音生成更接近文本，但差距依然存在。我们认为，剩余的关键瓶颈在于输入侧。我们提出 TextPro-SLM，一种使语音输入更接近韵律感知文本 LLM 输入的 SLM。TextPro-SLM 将 WhisperPro（一种统一语音编码器，可生成同步文本 token 和韵律嵌入）与一个经过训练的 LLM 主干相结合，后者在保留原始 TLM 语义能力的同时学习副语言理解。实验表明，TextPro-SLM 在 3B 和 7B 规模下均实现了领先 SLM 中最低的模态差距，同时在副语言理解任务上表现出色。这些收益仅使用约 1,000 小时的 LLM 训练音频即实现，表明从输入侧缩小模态差距既有效又数据高效。代码可在 此 https URL 获取
| Comments: | 被 NeurIPS 2026 接收 |
| Subjects: | 计算与语言（cs.CL）；声音（cs.SD）；音频与语音处理（eess.AS） |
| Cite as: | arXiv:2605.05927 [cs.CL] |
| （或 arXiv:2605.05927v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.05927 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Wenqian Cui Mr. [查看邮箱]
[v1]
2026年5月7日星期四 09:32:05 UTC（290 KB）
[v2]
2026年5月8日星期五 01:27:50 UTC（290 KB）
[v3]
2026年10月30日星期五 11:02:03 UTC（290 KB）
来源：arXiv cs.CL · arxiv.org