精选理由
做大规模LoRA训练和推理的团队终于有了正经的工程方案——MinT解决了策略数量爆炸时的资源浪费问题，用适配器分离和调度大幅降低成本，搞大模型服务的建议点开看看。
MinT（MindLab Toolkit）是一个专为低秩适配（LoRA）后训练和在线推理设计的托管基础设施系统。它针对在少量昂贵基座模型上产生大量训练策略的场景，通过保持基座模型常驻内存，仅移动导出的LoRA适配器，避免了合并完整检查点的开销。MinT沿三个维度扩展：向上支持超过1T总参数的前沿密集和MoE架构；向下实现适配器仅占基座模型1%以下大小，在4B密集模型上步骤时间减少18.3倍；向外支持百万级可寻址策略目录和千级适配器并发波次。该系统使得在共享的1T级基座模型上训练和推理数百万LoRA策略成为可能。
AI 翻译 · 中文
MinT（MindLab Toolkit）是一个专为低秩适配（LoRA）后训练和在线推理设计的托管基础设施系统。它针对在少量昂贵基座模型上产生大量训练策略的场景，通过保持基座模型常驻内存，仅移动导出的LoRA适配器，避免了合并完整检查点的开销。MinT沿三个维度扩展：向上支持超过1T总参数的前沿密集和MoE架构；向下实现适配器仅占基座模型1%以下大小，在4B密集模型上步骤时间减少18.3倍；向外支持百万级可寻址策略目录和千级适配器并发波次。该系统使得在共享的1T级基座模型上训练和推理数百万LoRA策略成为可能。
We present MindLab Toolkit (MinT), a managed infrastructure system for Low-Rank Adaptation (LoRA) post-training and online serving. MinT targets a setting where many trained policies are produced over a small number of e…