腾讯开源AngelSpec:HY3模型上MTP与块并行推测解码的统一训练框架
腾讯刚开源了AngelSpec,一个统一训练推测解码草稿模型的框架。它带的DFly块扩散器能让HY3模型推理快最多2.4倍,还支持六种架构,实用性强。
腾讯刚开源了AngelSpec,一个统一训练推测解码草稿模型的框架。它带的DFly块扩散器能让HY3模型推理快最多2.4倍,还支持六种架构,实用性强。
腾讯混元开源了AngelSpec,一个能帮你的模型推理提速近2倍的投机解码框架,实测比DFlash还快10%以上,代码和权重都直接可用了。