蚂蚁百灵开源了个轻量推理模型，7.9B 参数但每 Token 只激活 1.3B，Mac mini 上跑得飞快，适合本地部署。
蚂蚁百灵在 Hugging Face 开源 Ling-3.0-tiny 模型，总参数 7.9B，每 Token 激活 1.3B 参数，采用混合推理 MoE 架构。该模型将 KDA 和 MLA 按 3:1 比例交替堆叠，包含 128 个路由专家，兼顾上下文处理与计算成本。官方提供 BF16、FP8 和 INT4 权重版本，适配不同平台。在 M4 Pro MacBook 上推理速度约 86-90 Token/s，8K 上下文峰值内存约 8.34 GiB。
蚂蚁百灵开源 Ling-3.0-tiny 模型，支持英伟达 DGX Spark、苹果 Mac mini 部署
IT之家 8 月 11 日消息，蚂蚁百灵今天在 Hugging Face 平台开源 Ling-3.0-tiny 模型，该模型为轻量级混合推理 MoE 架构，总参数 7.9B，每 Token 激活 1.3B 参数。官方提供 BF16、FP8 和 INT4 权重版本，适配不同平台的部署需求。 据介绍，Ling-3.0-tiny 主打低成本推理，采用高效混合线性架构，将 KDA（Kimi Delta Attention）和 MLA（Multi-Head Latent Attention，多头潜在注意力）按照 3:1 比例交替堆叠。采用包含 128 个路由专家（routed experts）的稀疏 MoE 前馈网络（FFN），在上下文处理能力和计算成本间取得平衡。 IT之家注意到，该模型支持快速响应模式和多步骤推理模式，专为本地部署设计， 官方已在英伟达 DGX Spark、Apple Silicon MacBook 和 Mac mini 等电脑验证 。在 M4 Pro 的 MacBook 上可达到约 86-90 Token/s 的推理速度，8K 上下文长度下，峰值内存占用约为 8.34 GiB。 参考： inclusionAI/Ling-3.0-tiny · Hugging Face