Chinese contentGLiDE:从推理教师蒸馏的单次前向决策模型,0.4B 到 27B
适合做低延迟决策场景的工程师看看。GLiDE 用蒸馏把推理模型的能力塞进单次前向,27B 版延迟不到 100ms 还自带校准分数,比跑完整推理链省太多算力了。做分类、路由这类要快速出答案的活儿可以参考它的做法。
适合做低延迟决策场景的工程师看看。GLiDE 用蒸馏把推理模型的能力塞进单次前向,27B 版延迟不到 100ms 还自带校准分数,比跑完整推理链省太多算力了。做分类、路由这类要快速出答案的活儿可以参考它的做法。