精选理由
腾讯混元的Hy3,295B参数但只激活21B,vLLM第一天就支持,能跑工具和长推理,Apache 2.0随便使,值得一试!
腾讯混元发布Hy3模型,作为Hy3 Preview的完整版,总参数295B,活跃参数仅21B,采用192专家MoE架构与top-8路由。该模型在vLLM从第一天起即原生支持,包含工具调用、推理解析器和MTP推测解码功能。上下文窗口达256K,配备3.8B MTP推测解码层,提供BF16和FP8权重。模型采用Apache 2.0许可证,已在NVIDIA和AMD硬件上验证。
AI 翻译 · 中文
腾讯混元发布Hy3模型,作为Hy3 Preview的完整版,总参数295B,活跃参数仅21B,采用192专家MoE架构与top-8路由。该模型在vLLM从第一天起即原生支持,包含工具调用、推理解析器和MTP推测解码功能。上下文窗口达256K,配备3.8B MTP推测解码层,提供BF16和FP8权重。模型采用Apache 2.0许可证,已在NVIDIA和AMD硬件上验证。
🎉 @TencentHunyuan's Hy3, the full release following the Hy3 Preview, runs natively in vLLM from day 0, with tool-call and reasoning parsers and MTP speculative decoding, verified on @NVIDIA and @AMD hardware. Hy3 is a M…