Models

疑似 MiniMax 将 M3 更名 M3.1 Flash,仅做量化与稀疏注意力改动

Why we picked it

有人扒出 M3.1 Flash 疑似就是 M3 改了个名,只稀疏了几层注意力再加量化,关注模型版本套路的话可以看看。

推文称 MiniMax 把 M3 重新命名为 M3.1 Flash,改动包括在 3 层中稀疏化注意力、做量化,并加上 DSpark。作者认为从营销角度说得通,因为 M3 的规模与当前各家 Flash 级模型相当。推文表示作者原本不相信这一说法。

Original · Teortaxes

Bro they actually rebranded M3 as M3.1 Flash, just sparsified the attn in 3 more layers, quantized it and added DSpark on top I guess it's fair in a marketing sense, M3 is on the scale of today's Flash models, but… I didn't believe this https://t.co/5drYCWBoxk