arXiv cs.CL· Yiwen Shao, Wei Liu, Jiahong Li, Tianzi Wang, Kun Wei, Meng Yu, Dong Yu·· 12 小时前AI 评分38
AZeroS：用自生成无指令微调将 LLM 扩展到语音
AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning
AI 导读
AZeroS 提出自生成无指令微调（SIFT）范式，用冻结 LLM 基于语音文本表示生成监督信号，免去收集任务特定问答对。该模型基于 Qwen2.5-7B-Instruct，仅训练两个各 2380 万参数的投影模块，LLM 与音频编码器均冻结，训练数据约 25000 小时带 ASR 转写语音和 3000 小时副语言标注语音。
正文 · AI 翻译
摘要：将大型语言模型（LLM）扩展到语音领域近来受到广泛关注。一种典型做法是通过投影模块将预训练的 LLM 与音频编码器连接起来，并在大规模、任务特定的指令微调数据集上训练所得模型。然而，针对特定需求整理此类指令微调数据十分耗时，且以这种方式训练的模型往往对未见任务泛化能力较差。在本工作中，我们首先提出：当语音-LLM 采用自生成无指令微调（Self-Generated Instruction-Free Tuning，SIFT）进行训练时，可实现最强的泛化能力，其中监督信号由冻结的 LLM 以语音的文本表示作为输入生成。我们提出的 SIFT 范式无需收集任务特定的问答对，并在理论上对未见任务具有最佳泛化能力。基于该范式，我们提出 AZeroS（Auden Zero-instruction-tuned Speech-LLM），其训练所用的语音-文本对来自公开语料库，包括约 25,000 小时带 ASR 转录文本的语音和 3,000 小时带副语言标签的语音。该模型基于 Qwen2.5-7B-Instruct 构建，仅更新两个轻量级投影模块（各 2380 万参数），同时保持 LLM 和音频编码器冻结。尽管训练成本极低、数据规模适中，AZeroS 在语义和副语言基准测试上均达到最先进性能，包括 VoiceBench、AIR-Bench Foundation (Speech) 和 AIR-Bench Chat (Speech)。
| 评论： | 技术报告 |
| 主题： | 计算与语言（cs.CL）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2601.06086 [cs.CL] |
| （或 arXiv:2601.06086v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.06086 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yiwen Shao [查看邮箱]
[v1]
2025年12月31日 星期三 04:05:04 UTC（2,880 KB）
[v2]
2026年10月26日 星期一 18:38:10 UTC（2,880 KB）
来源：arXiv cs.CL · arxiv.org