精选理由
英伟达出了个Audex,30B参数但只激活3B,能听能说还不掉文本能力,MMLU-Redux得分86.4比原来还高一点。
英伟达于6月发布Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大模型,总参数量30B,激活参数3B。该模型以Nemotron-Cascade-2-30B-A3B为骨干,采用52层混合Mamba-Transformer结构,128个可路由专家。音频编码使用AF-Whisper,语音输出用X-Codec2,非语音音频用X-Codec。文本评测中,Audex在MMLU-Redux上得分86.4(高于骨干86.3),在IMO AnswerBench上81.1(高于79.3),但在MMLU-Pro和GPQA-Diamond上小幅下降。
AI 翻译 · 中文
英伟达于6月发布Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大模型,总参数量30B,激活参数3B。该模型以Nemotron-Cascade-2-30B-A3B为骨干,采用52层混合Mamba-Transformer结构,128个可路由专家。音频编码使用AF-Whisper,语音输出用X-Codec2,非语音音频用X-Codec。文本评测中,Audex在MMLU-Redux上得分86.4(高于骨干86.3),在IMO AnswerBench上81.1(高于79.3),但在MMLU-Pro和GPQA-Diamond上小幅下降。
IT之家 7 月 8 日消息,英伟达于今年 6 月发表论文,推出 Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大语言模型,总参数量 30B, 激活参数 3B,在保留核心文本智能情况下,能理解和生成音频(audio)和语音(speech)。 该模型骨干为文本模型 Nemotron-Cascade-2-30B-A3B,后者为 52 层混合 Mamba-Transformer 结构,包含 128 个可路由…