#Windowed-MTP

这篇论文解决了长上下文下投机解码的瓶颈，用滑动窗口草稿省掉99%的KV读取，实测速度提升近三成，而且不损失精度。搞大模型推理优化的值得看。