22:16Hunyuan@TXhunyuan腾讯混元Hy3模型获得vLLM项目支持。用户可以通过vLLM推理引擎启动Hy3进行体验。vLLM是一个高效的大模型推理框架,此次集成简化了Hy3的部署流程。AI模型Hy3TencentHunyuanvLLM视频生成推荐理由:腾讯混元让Hy3在vLLM上跑起来了,现在就能上手试玩,搞视频生成的朋友可以看看。原文
02:03官方账号LMSYS Org (SGLang)@lmsysorg76°腾讯混元发布Hy3,一个295B参数MoE模型,激活参数仅21B,支持256K上下文。在推理和智能体任务上,Hy3可媲美参数大2-5倍的开源模型。通过反幻觉训练,该模型的幻觉率从12.5%降至5.4%。多轮意图跟踪指标MRCR从42.9%提升至75.1%。Hy3支持MTP+EAGLE推测解码,并提供了FP8检查点以降低部署成本。AI模型Hy3TencentHunyuanSGLang推理模型智能体反幻觉推荐理由:腾讯混元新模型Hy3,21B激活参数就能比肩更大模型,幻觉率从12.5%降到5.4%,多轮对话能力大增,现在就能在SGLang上跑。原文