Chinese contentFrontierReplay:混合架构模型的无切分精确前缀缓存方案
做推理服务或部署混合架构模型(比如线性注意力+循环层这类)的团队该看看。它不用切分 prefill 就能在可预测的边界处建精确缓存,TTFT 最高降 8.9 倍,精度一点不掉,比近似 replay 靠谱。
做推理服务或部署混合架构模型(比如线性注意力+循环层这类)的团队该看看。它不用切分 prefill 就能在可预测的边界处建精确缓存,TTFT 最高降 8.9 倍,精度一点不掉,比近似 replay 靠谱。