ModelsSelected

LiquidAI 开源 74M 语音编解码模型 LiquidCodec,CPU 解码达实时 87 倍

Why we picked it

做端侧语音项目的可以留意这个。74M 参数,CPU 上解码就有实时 87 倍的速度,比 Mimi 快 2.9 倍,还支持 Q4_0 量化,智能耳机、车载这类没 GPU 的场景终于能跑得起实时语音了。

LiquidAI 发布 74M 参数的语音编解码模型 LiquidCodec,并开放权重支持本地部署。在 Apple M4 Max、单线程 CPU、FP32 条件下,音频编码速度达到实时的 361 倍,解码速度达到实时的 87 倍,解码吞吐约为 Mimi 的 2.9 倍、X-Codec 2 的 3.3 倍。

Body

技术上,LiquidCodec 采用 GFSQ 分组有限标量量化,替代传统 Codec 的残差向量量化,减少了量化码本之间的顺序依赖,让音频 Token 更适合语音大模型并行预测;架构上使用针对高效计算设计的 LFM3 模块来降低解码计算开销。模型通过量化感知训练,在 Q4_0 低精度条件下仍能保持声音重建质量,进一步压缩模型体积和运行资源需求。

对语音 AI 而言,音频编解码器是比理解和自然度更少被关注却实际存在的瓶颈,语音模型需要把声音编码为 Audio Token,生成后再由解码器还原为可播放的声音。更轻量的编解码器意味着端侧语音 Agent、AI 眼镜、智能耳机、车载 AI 等设备可以在 CPU 上完成实时语音交互,降低本地语音处理的硬件门槛。

Original · AIGCLINK

一个74M的语音编解码模型:LiquidCodec,让语音AI在CPU上也能高速编解码音频,解码速度达到实时的87倍

这东西对端侧语音Agent、AI眼镜、智能耳机、车载AI来说值得关注

权重已开放,支持本地部署

性能上,在Apple M4 Max、单线程CPU、FP32条件下 音频编码速度达到实时的361倍 音频解码速度达到实时的87倍 同一测试条件下,解码吞吐速度约为Mimi的2.9倍、X-Codec 2的3.3倍

现在大家都在卷语音大模型的理解能力、自然度和实时交互,但还有一个容易被忽视的瓶颈就是音频编解码器

语音模型通常需要先把声音编码成离散的Audio Token,模型理解、推理并生成语音Token后,还要通过解码器把这些Token还原成可以播放的声音

LiquidCodec的技术关键点:

采用GFSQ分组有限标量量化 相比部分传统Codec采用的残差向量量化,它减少了量化码本之间的顺序依赖,让音频Token更适合语音大模型学习和并行预测

优化编解码器架构 采用针对高效计算设计的LFM3架构模块,并优化音频重建过程,减少解码时的计算开销

面向低精度部署 通过量化感知训练,让解码器在Q4_0等低精度条件下,仍能尽量保持声音重建质量,降低模型体积和运行资源需求

更轻量、更快的音频编解码器,可以帮助降低本地语音处理的资源门槛,让实时语音交互更容易在端侧落地

#LiquidAI #LiquidCodec #VoiceAI

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include LiquidCodec, LiquidAI, open-source models.

Source attribution: curated from AIGCLINK (@aigclink).