Liquid AI 发布 74M 参数流式音频编解码器 LiquidCodec
Liquid AI 发布流式语音 tokenizer LiquidCodec，约 74M 参数，24 kHz 音频、12.5 Hz 帧、12 codebooks，权重已上架 Hugging Face。
MarkTechPost· Asif Razzaq·2026-11-13 06:43· 47 分钟前AI 评分55
Liquid AI 发布 LiquidCodec，一款 74M 参数的流式音频编解码器
AI 导读
Liquid AI 发布流式语音 tokenizer LiquidCodec，约 74M 参数，24 kHz 音频、12.5 Hz 帧、12 codebooks，权重已上架 Hugging Face。
正文 · 原文
Liquid AI 已发布 LiquidCodec，这是其 LFM3-Audio-2B 和 LFM3-Omni-2B 模型背后的音频编解码器。LiquidCodec 音频编解码器是一个约 74M 参数的流式语音 tokenizer。它将语音转换为语言模型可以预测的 token，然后再将这些 token 转换回音频。Liquid AI 有 2 个目标：易于预测的 token 和快速转换回语音。权重已在 Hugging Face 上发布。
TL;DR
- 规模：约 74M 参数（模型卡上为 73.6M）；24 kHz 音频、12.5 Hz 帧、12 codebooks。
- 运行于：单个 CPU 线程（在 Apple M4 Max 笔记本上以 FP32 测试）；通过 Transformers 在 CUDA GPU 上运行；为 llama.cpp 提供 Q4_0、Q4_K_M 和 Q8_0 GGUF 构建。
- 性能：在所有 8 个测试集上，与 X-Codec 2、NanoCodec 和 Mimi 相比，ViSQOL 最佳且 mel 距离最低。
- 最佳表现：在 1 个 CPU 线程上编码速度约为实时的 361 倍（编码 RTF 0.0028，而 Mimi 为 0.0361）。
什么是 LiquidCodec？
LiquidCodec 是 Liquid AI 的语音编解码器，可将 24 kHz 音频压缩为 12 个 token 流。根据 LFM3-Audio-2B 模型卡，每个 80 ms 帧变为 12 个离散 token。它取代了 Kyutai 的 Mimi，后者是 Liquid AI 在 LFM2-Audio-1.5B 中使用的编解码器。Mimi 有 96.2M 参数。
LiquidCodec 如何工作？
流程为编码、量化、解码。Liquid AI 在编码器和解码器中都使用了其 LFM3 架构的模块。这两部分是对称的，且编码器完全因果，适合流式处理。
量化使用分组有限标量量化（GFSQ）而非残差向量量化（RVQ）。在 RVQ 中，每个 codebook 编码前一个 codebook 遗漏的内容。GFSQ 各组相互独立，因此所有 12 个 codebooks 可由 MaskGIT 风格的 transformer 并行预测。
解码器直接预测频谱系数。这避免了学习到的转置卷积上采样，这是波形解码器中常见的开销。
它是如何训练的？
训练分 2 个阶段进行。第 1 阶段使用了 107 种语言、264,000 小时的语音。它应用了波形和频谱损失，没有对抗损失。第 2 阶段在 55,000 小时的全频带语音（24 kHz 或更高）上使用对抗判别器进行微调。Liquid AI 表示这消除了第 1 阶段后残留的金属伪影。最后的仅解码器量化感知训练（QAT）步骤针对边缘推理。
LiquidCodec 有多快？
Liquid AI 在 Apple M4 Max MacBook Pro 的 1 个 CPU 线程上以 FP32 测量速度。LiquidCodec 的编码速度约为实时的 361 倍，解码约为 87 倍。这些是自报数据。
实时因子（RTF）是处理时间除以音频长度，因此越低越好。LiquidCodec 的编码 RTF 为 0.0028，而 Mimi 为 0.0361，NanoCodec 为 0.2145，X-Codec 2 为 0.7359。解码 RTF 为 0.0115，而分别为 0.0329、0.2543 和 0.0379。这比 Mimi 的编码 RTF 低约 13 倍，解码 RTF 低 2.9 倍。
LiquidCodec 在质量基准上表现如何？
Liquid AI 使用了 8 个测试集。这些测试集分别是 LibriSpeech test-clean、Seed-TTS 英语和普通话，以及 5 种 FLEURS 语言（德语、法语、普通话、日语、韩语）。基线模型为 12 个码本的 X-Codec 2、NanoCodec 和 Mimi。
- 重建：LiquidCodec 在全部 8 个测试集上取得了最佳 ViSQOL 和最低的 mel 距离。在 LibriSpeech 上，ViSQOL 为 4.319，而 NanoCodec 为 4.219、X-Codec 2 为 4.119、Mimi 为 4.031。
- 文本转语音：Liquid AI 在每个编解码器的 token 上训练了相同的 TTS 模型。数据（101,000 小时、6 种语言）、架构、算力和批次顺序均固定不变。LiquidCodec 在全部 8 个测试集上取得了最高的 UTMOSv2，并在 8 个测试集中的 4 个上取得了最佳 WER/CER。LibriSpeech WER 为 3.15%，而 Mimi 为 6.27%。使用 Qwen3-1.7B 和 LFM3-1.7B 作为骨干网络时，结果依然成立。
- 落后之处：NanoCodec 在 8 个测试集中的 7 个上取得了更高的 PESQ（WB）。它还在 LibriSpeech 说话人相似度上领先（SECS 0.836 对 0.785）。
LiquidCodec 与 Mimi、NanoCodec、X-Codec 2 对比
| 特性 | LiquidCodec | Mimi | NanoCodec 1.78 kbps | X-Codec 2 |
|---|---|---|---|---|
| 开发者 | Liquid AI | Kyutai | NVIDIA | HKUST Audio |
| 参数量 | 73.6M | 96.2M | 62M | 0.8B |
| 采样率 | 24 kHz | 24 kHz（仓库） | 22.05 kHz | 16 kHz |
| 帧率 | 12.5 Hz | 12.5 Hz | 12.5 fps | 50 tokens/s |
| 码本 | 12 | 8 个，1.1 kbps（博客） | 13 | 1（文档） |
| 量化器 | GFSQ | RVQ（文档） | FSQ | 单层 FSQ（文档） |
| 比特率 | 未披露 | 1.1 kbps | 1.78 kbps | 未披露 |
| 因果性 | 因果编码器；解码器未披露 | 完全因果（Kyutai） | 非因果编码器，因果解码器 | 未披露 |
| 许可证 | HF 上为“other”；博客链接到 LFM License | CC-BY 4.0 | NVIDIA Open Model License | CC-BY-NC 4.0 |
| 编码/解码 RTF，M4 Max CPU* | 0.0028 / 0.0115 | 0.0361 / 0.0329 | 0.2145 / 0.2543 | 0.7359 / 0.0379 |
| LibriSpeech mel 距离*（越低越好） | 0.120 | 0.160 | 0.122 | 0.123 |
| LibriSpeech PESQ（WB）* | 2.640 | 2.615 | 2.942 | 2.434 |
| LibriSpeech TTS UTMOSv2* | 3.31 | 2.89 | 3.19 | 3.27 |
*由 Liquid AI 在其 LiquidCodec 博客中测量。Mimi 在 12 个码本下测量。
开发者如何部署 LiquidCodec？
该编解码器通过 Hugging Face Transformers 加载，使用 trust_remote_code=True。调用 encode() 获取音频码，调用 decode() 获取波形。原生 LiquidCodecStreamingCache 支持逐块解码，详见模型卡。模型卡中的示例使用 CUDA 和 bfloat16。
对于边缘使用，Liquid AI 列出了适用于 llama.cpp 的 Q4_0、Q4_K_M 和 Q8_0 GGUF 构建。GGUF 仓库随 LFM3-Audio-2B 和 LFM3-Omni-2B 一起提供。采用仅解码器 QAT 的 Q4_0 将解码器占用空间缩小 3.5 倍。LibriSpeech ViSQOL 仅从 4.319 降至 4.292。
关键要点
- 约 74M 参数的流式编解码器，12.5 Hz，12 个码本，24 kHz。
- 在 1 个 CPU 线程上编码约 361 倍实时，解码约 87 倍实时。
- 在全部 8 个测试集上取得最佳 ViSQOL、mel 距离和 TTS UTMOSv2。
- NanoCodec 仍在 8 个测试集中的 7 个上赢得 PESQ（WB）。
- Q4_0 解码器体积缩小 3.5 倍，质量损失极小。
查看技术博客、Hugging Face 上的模型权重，以及 LFM3-Audio-2B 和 LFM3-Omni-2B。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？ 联系我们
文章 Liquid AI 发布 LiquidCodec，一款 7400 万参数的流式音频编解码器 首次出现在 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news