Bespoke Labs 发布开源复刻模型 Bespoke Nimble，逼近 TypeSafe Jev 表现
Bespoke Labs 复刻 TypeSafe Jev 发布 Bespoke Nimble 作为 Open Jev，Bespoke Nimble 的数据、模型权重、训练配方全部公开，整个项目只花了...
朋友复刻了 TypeSafe Jev，公开了所有数据和模型，用 9B 模型就逼近了 Jev 的表现，还公开了训练方法，值得看看。
Bespoke Labs 发布开源复刻模型 Bespoke Nimble，其数据、模型权重和训练配方全部公开。项目仅用两天时间构建，在“快速结构化决策”任务上，用 9B 小模型逼近了 Jev 的表现。核心创新是“最小差异样本对训练”，通过构造几乎相同的样本对并微调一个“焦点事实”，迫使模型学会判别哪些证据真正影响决策。训练使用 Qwen3.5-9B 做 LoRA 微调，仅一个 epoch。在 324 条保留评测集上，Nimble-9B 准确率 90.1%，而 Jev 为 93.2%。
Bespoke Labs 复刻 TypeSafe Jev 发布 Bespoke Nimble 作为 Open Jev，Bespoke Nimble 的数据、模型权重、训练配方全部公开，整个项目只花了...
Bespoke Labs 复刻 TypeSafe Jev 发布 Bespoke Nimble 作为 Open Jev，Bespoke Nimble 的数据、模型权重、训练配方全部公开，整个项目只花了两天时间“公开构建”。 @bespokelabsai 通过一个高质量的数据配方 + 极简推理工程，在“快速结构化决策”这个垂直任务上，用 9B 小模型逼近了 Jev 表现。 开源地址 github.com/bespokelabsai/… 模型 huggingface.co/bespokelabs/Be… 核心创新：最小差异样本对训练 · 做法：构造近乎相同的样本对，只微调一个“焦点事实”（改动不超过 8 个词），使正确标签翻转。这迫使模型学会“哪些证据真正应该改变决策”，从而判别能力更强。 · 隐式校准：正因为模型学会了区分微小差异，概率输出天然更可靠，作者称"calibration is implicit"。 · 不需要概率标签：传统方法训练概率输出往往需要带概率的标注数据，这里用对比结构绕开了这一要求。 · 质量保障管线：四步流程，检查决策规则、构造样本对、验证两个样本（包括逐句删除证据句确认没有“泄漏”）、程序化打标签。全部数据为合成，共约 2,676 条训练样本，覆盖 10 个类别。 训练与推理工程 · 训练：在 Qwen3.5-9B 上做 LoRA（rank 16）微调，仅一个 epoch。没有从 Jev 蒸馏，Jev 只用来做评测参照，这在版权和学术上都干净。也还没上 RL。 · 推理：采用 NielsRogge 和 harshagundal 建议的并行约束解码，每个选项映射到单个 token，直接读取这些 token 的 logits 做 softmax，根本不“生成”文本。Mac 上用 MLX 把共享上下文预填充一次、所有字段并行打分。 结果（324 条保留评测集，与参考标签一致率） · Qwen3.5-9B（原始）：准确率 66.4% · Qwen3.5-27B（原始）：准确率 84.9% · Nimble-9B（微调后）：准确率 90.1% · Jev（闭源参照）：准确率 93.2% Mahesh Sathiamoorthy @madiator Introducing Bespoke Nimble: an open data, open model, open recipe for an open Jev. Code and info: github.com/bespokelabsai/… Model: huggingface.co/bespokelabs/Be… Data: * A new data curation recipe called contrastive data curation. * Slightly change facts to generate negative data. This pushes the model to discriminate better and become a better decision maker. The calibration is implicit. * Didn't do ablations but I think this is a critical piece! * This also means training data doesn't need probabilities. * Data covered 10 categories, and is fully synthetic. * This data is split into train and eval. Training * LoRA finetune of Qwen3.5-9B. * Distillation-free: we use Jev to only evaluate. * No RL yet! Serving * Parallel constrained decoding as suggested by @NielsRogge and @harshagundal . Results: * The post-trained Qwen (Nimble) became substantially better on our curated eval: 66% for Qwen to 90% for Nimble. Jev is at 93%. * 100ms on H100 and free to use on your macbook! Feel the AGI for free. * 2 days of building in public. :) Big caveat is that there is no standard benchmark to measure performance, and it's possible Nimble is much worse on other benchmarks compared to Jev. But it should be better than Qwen! We thank @typesafeai for making Jev and the inspiring discussions in the community. Hope this release lifts all the boats and encourages more research and activity in this space. 🔗 View Quoted Tweet 💬 1 🔄 0 ❤️ 1 👀 321 📊 1 ⚡
