NVIDIA发布Audex:统一音频-文本LLM,保留骨干文本智能

NVIDIA Releases Audex (Nemotron-Labs-Audex-30B-A3B): A Unified Audio-Text LLM That Preserves the Text Intelligence of Its Backbone

精选理由

NVIDIA发了款新模型Audex,能同时搞定音频理解、语音识别、翻译、TTS和音频生成,而且几乎没牺牲原有文本模型的性能。

AI 摘要

NVIDIA发布了Nemotron-Labs-Audex-30B-A3B(Audex)模型,这是一个混合专家(MoE)架构,统一了音频理解、语音识别、翻译、文本转语音和音频生成五种能力。该模型以Nemotron-Cascade-2为骨干,仅在音频任务上产生边际的性能回归。Audex在30B总参数中仅有3B活跃参数,高效实现了多模态融合。

图片来源 · marktechpost
AI 翻译 · 中文

NVIDIA发布了Nemotron-Labs-Audex-30B-A3B(Audex)模型,这是一个混合专家(MoE)架构,统一了音频理解、语音识别、翻译、文本转语音和音频生成五种能力。该模型以Nemotron-Cascade-2为骨干,仅在音频任务上产生边际的性能回归。Audex在30B总参数中仅有3B活跃参数,高效实现了多模态融合。

marktechpostNVIDIA's Nemotron-Labs-Audex-30B-A3B unifies audio understanding, speech recognition, translation, TTS, and audio generation in one MoE model. It keeps the text intelligence of its Nemotron-Cascade-2 backbone with margin