TextPro-SLM缩小语音与文本模态差距
热点事件持续更新
TextPro-SLM缩小语音与文本模态差距
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Wenqian Cui等作者提出TextPro-SLM语音大语言模型,从输入侧缩小语音与文本的模态差距。据论文,该模型在3B和7B规模下均取得领先SLM中最低的模态差距,并在副语言理解任务上表现强劲。 该模型结合统一语音编码器WhisperPro(同步输出文本token与韵律嵌入)与保留原TLM语义能力的LLM主干,仅用约1,000小时LLM训练音频即达成上述效果。论文已被NeurIPS 2026接收,代码已开源。
AI 根据报道生成 · 54 分钟前更新
最新进展11月2日 13:00
TextPro-SLM:从输入侧缩小模态差距,让语音 LLM 具备韵律感知的文本 LLM 能力报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv cs.CLTextPro-SLM:从输入侧缩小模态差距,让语音 LLM 具备韵律感知的文本 LLM 能力
TextPro-SLM 从输入侧缩小语音大模型的模态差距,在 3B 和 7B 规模下均取得领先 SLM 中最低的模态差距,并在副语言理解任务上表现强劲。该模型结合统一语音编码器 WhisperPro(同步输出文本 token 与韵律嵌入)与保留原 TLM 语义能力的 LLM 主干,仅用约 1,000 小时 LLM 训练音频即达成上述效果。论文已被 NeurIPS 2026 接收,代码已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。