Thinking Machines Lab开源Inkling 2 Mini:26.4B参数可跑在16GB内存笔记本上
Mira Murati团队开源的Inkling 2 Mini用循环层数的思路把24层权重跑出48层效果,激活参数只有3.4B,普通笔记本就能离线跑。SWE-bench Verified 79.2%的成绩领先同规模开源模型,想研究推理效率或本地部署的开发者可以下载试试。
前OpenAI CTO Mira Murati的团队Thinking Machines Lab开源了Inkling 2 Mini,采用循环Transformer架构,总参数26.4B、激活参数仅3.4B,可在16GB内存的笔记本上离线运行。其核心机制是改变Transformer内部的计算方式:通常每个token要过一遍所有层,而Inkling 2 Mini让中间12层循环跑3遍,用24层权重干出48层的效果。对照实验显示,不循环版本需要多花140%推理算力才能追平它的表现。
基准成绩方面,Inkling 2 Mini在SWE-bench Verified拿到79.2%,DeepSWE编程任务48.2%,BrowseComp 79%,领先同规模开源模型。研究团队还一并开源了可变循环次数的研究版模型TML-d24-varloop,用于监控循环次数变化时模型的思考过程。当主流路线都在堆参数时,这条“堆层数使用次数”的scaling路径提供了一个不同的方向。
有人说Thinking Machines Lab刚开源的Inkling 2 Mini是能跑在16GB内存上的Sonnet 5.5
Inkling 2 Mini,前OpenAI CTO Mira Murati团队最新开源的模型,用的循环Transformer架构,总参数26.4B,激活3.4B,能在笔记本电脑上离线运行
用Mira Murati的话说就是:Think more,write less
它的核心是改变Transformer内部的计算方式
通常模型都是每个token过一遍所有层,它是中间12层循环跑3遍,24层权重干48层的活儿
在对照实验中,不循环版本要多花140%推理算力才能追平
DeepSWE编程48.2%、SWE-bench Verified79.2%、BrowseComp 79%,领先同规模开源模型
不写思维链没法儿监控模型在想什么,所以研究团队专门训了一个可变循环次数的研究版模型TML-d24-varloop,一并开源了
当模型们都在堆参数时,至少它证明了堆层数使用次数这一条scaling路径
#Inkling2Mini #LoopedTransformer #循环Transformer
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Inkling 2 Mini, Thinking Machines Lab, recurrent Transformer, open-source models.
Source attribution: curated from AIGCLINK (@aigclink).