MTP 相关 AI 资讯 · AI 热点

6月26日

10:16

10:16

官方一手arXiv: DeepSeek@Luxi Lin, Shuang Peng, Rui Ma, Junhao Hua, Shuwei Fan, Zhengda Qin, Qiang Wang, Hongjian Sun, Fangmin Chen, Songwei Liu

HyperDFlash是一种针对DeepSeek-V4多超连接架构的块并行推测解码框架。它通过预折叠残差状态保持多路径结构，并用门控残差缩减器将参数减少三个数量级。同时引入KL蒸馏损失正则化LM-head预测。在数学推理、代码合成和对话基准上，HyperDFlash的平均接受长度和解码加速比均优于原生MTP和DFlash基线。

AI模型 HyperDFlash DeepSeek-V4 MTP DFlash 推测解码

推荐理由：DeepSeek-V4新出的HyperDFlash框架，用门控缩减和蒸馏让推测解码提速，比MTP和DFlash都厉害。

5月19日

20:59

20:59

Julien Chaumond@julien_c

llama.cpp 支持 MTP（多 token 预测），这是一种内置于模型中的推测解码，可将 token 生成速度提升约 2 倍。需要升级 llama.cpp 到 build 9200 以上（可使用 brew install --HEAD）。可选 Dense 27B 或 35B A3B MoE 模型，前者在 48-64GB 内存下约 30 tok/s，后者可达约 100 tok/s。运行命令为 llama-server 加上 --spec-type draft-mtp 参数。

技巧 llama.cpp MTP Qwen3.6 推理模型开源模型

推荐理由：教你用 Qwen3.6 跑出 2 倍速推理