21:23
Hunyuan@TXhunyuan
Hunyuan@TXhunyuan精选72°
推荐理由：腾讯混元开源了AngelSpec，一个能帮你的模型推理提速近2倍的投机解码框架，实测比DFlash还快10%以上，代码和权重都直接可用了。
DFly
共 1 条相关 AI 资讯
7月29日
21:23
腾讯混元开源了AngelSpec，一个端到端的投机解码框架，同时支持训练和部署。在Hy3-A21B模型上，DFly方法在并发数4到64范围内，相比自回归解码实现1.98到2.40倍的端到端加速。与DFlash相比，DFly的吞吐量高出10.5%到11.8%。项目提供了训练代码、Hy3-A21B MTP/DFly drafter权重，以及论文和文档。