Mira Murati 新公司出了开源多模态模型，近 1T 参数但只激活 41B，支持 1M 上下文，还能自己微调，值得试试。
Thinking Machine 推出首款模型 Inkling，采用 MoE 架构，总参数量 975B，激活参数 41B，上下文窗口达 1M。模型在 45T 数据上训练，原生支持文本、图像和音频理解。同时发布 Small 预览版，激活参数 12B，且模型开源。后训练数据从 Kimi 2.5 等开源模型蒸馏得到。
前 OpenAI CTO Mira Murati 创立的 Thinking Machine。 在成立一年半之后，终于推出了他们的第一款模型：Inkling MoE 架构，总参数量是 975B（快 ...
前 OpenAI CTO Mira Murati 创立的 Thinking Machine。 在成立一年半之后，终于推出了他们的第一款模型：Inkling MoE 架构，总参数量是 975B（快 1T 了），激活参数为 41B，拥有 1M 的上下文窗口。 模型在 45T 的数据上训练，原生支持多模态，包括文本、图像和音频理解。 此外，还有一个更小的 Small 预览版模型，激活参数为 12B。 这个模型是开源的。他们的数据（后训练数据）是从一系列开源模型（例如 Kimi 2.5）中蒸馏得到的。 Thinking Machines @thinkymachines Today, we are introducing Inkling. Inkling reasons efficiently across text, image, and audio modalities. We are making the full weights available. thinkingmachines.ai/news/introduci… Available today for fine-tuning on Tinker. Play with it in the Inkling Playground. 🧵 🔗 View Quoted Tweet 💬 2 🔄 0 ❤️ 4 👀 2672 📊 2 ⚡