arXiv cs.CL· Alkis Koudounas, Osamu Take, Hayato Futami, Quentin Jodelet, Emiru Tsunoo·· 10 小时前AI 评分58
Walrus 技术报告：基于 Gemma 4 的 8B 统一语音音频基础模型
Walrus Technical Report
AI 导读
Walrus 是一个 8B 统一语音与音频基础模型，覆盖语音识别（含语码转换和多说话人）、语音翻译、TTS、情感识别、音频描述和通用音频理解。其核心贡献不是新架构，而是数据驱动的训练配方：主干从 Gemma 4 初始化，采用从多语言数据到多说话人、语码转换和领域数据的三阶段数据课程，并在每阶段做任务与数据集加权。
正文 · AI 翻译
摘要：我们提出 Walrus，一个统一的 8B 语音与音频基础模型，可处理语音识别（包括语码转换和多说话人语音）、语音到文本和语音到语音翻译、文本到语音、情感识别、音频描述以及通用音频理解。我们的主要贡献不是新的架构，而是以数据为中心的训练方案；我们使用从 Gemma 4 初始化的标准仅解码器主干，因此增益可以追溯到数据。对于语音生成，Walrus 预测低比特率离散语音 token，轻量级 token 到波形解码器将其转换为高保真音频。该方案是一个三阶段数据课程，从广泛的多语言数据过渡到多说话人、语码转换和特定领域数据。在每个阶段，任务感知和数据集感知的加权平衡了 token 预算差异很大的任务，并保护核心技能不被遗忘。Walrus 在超过 6 亿个样本上训练，涵盖 20 多个任务和 100 种语言，在多语言、多说话人和语码转换 ASR、语音翻译和音频理解基准上领先，优于同等规模的开源语音语言模型和专门的任务特定模型。在大多数基准上，它甚至匹配或超过 $4\times$ 更大的 Qwen3-Omni 的性能。结果表明，数据工程是多任务语音和音频建模质量的主要驱动因素。
| 评论： | 30 页，3 张图，技术报告 |
| 主题： | 音频与语音处理 (eess.AS)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2611.13689 [eess.AS] |
| （或 arXiv:2611.13689v1 [eess.AS] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13689 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Alkis Koudounas [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 07:37:38 UTC（4,654 KB）
来源：arXiv cs.CL · arxiv.org