21:16
官方账号LMSYS Org (SGLang)@lmsysorg
官方账号LMSYS Org (SGLang)@lmsysorg86°
推荐理由：thinkymachines开源了一个超大MoE模型Inkling，总参975B但只激活41B，还支持1M上下文和图文音频理解，已经可以在SGLang上跑了，想玩大模型的朋友可以试试。
thinkymachines
共 1 条相关 AI 资讯
7月16日
21:16
Inkling是thinkymachines发布的首个开源MoE模型，总参数量975B，激活参数41B。它支持最高1M上下文长度，原生处理文本、图像和音频。该模型已获得SGLang和Miles的Day 0支持，采用短卷积、相对位置嵌入注意力和共享专家sink MoE等新架构。推理优化包括DFlash投机解码和MXFP8 KV缓存，并支持全参数和LoRA RL训练。