腾讯混元Hy3模型发布:295B MoE、21B激活、256K上下文

🎉 Meet Hy3 from @TencentHunyuan, a 295B MoE with 2…

精选理由

腾讯混元新模型Hy3,21B激活参数就能比肩更大模型,幻觉率从12.5%降到5.4%,多轮对话能力大增,现在就能在SGLang上跑。

AI 摘要

腾讯混元发布Hy3,一个295B参数MoE模型,激活参数仅21B,支持256K上下文。在推理和智能体任务上,Hy3可媲美参数大2-5倍的开源模型。通过反幻觉训练,该模型的幻觉率从12.5%降至5.4%。多轮意图跟踪指标MRCR从42.9%提升至75.1%。Hy3支持MTP+EAGLE推测解码,并提供了FP8检查点以降低部署成本。

AI 翻译 · 中文

腾讯混元发布Hy3,一个295B参数MoE模型,激活参数仅21B,支持256K上下文。在推理和智能体任务上,Hy3可媲美参数大2-5倍的开源模型。通过反幻觉训练,该模型的幻觉率从12.5%降至5.4%。多轮意图跟踪指标MRCR从42.9%提升至75.1%。Hy3支持MTP+EAGLE推测解码,并提供了FP8检查点以降低部署成本。

LMSYS Org (SGLang)🎉 Meet Hy3 from @TencentHunyuan, a 295B MoE with 21B active params and 256K context. Day-0 support is now live in SGLang! 1️⃣ Agent-first: rivals flagship open-source models with 2–5x the parameters across reasoning & a