#FrontierReplay

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "FrontierReplay", newest first.
Nov 20
Chinese contentFrontierReplay:混合架构模型的无切分精确前缀缓存方案

做推理服务或部署混合架构模型(比如线性注意力+循环层这类)的团队该看看。它不用切分 prefill 就能在可预测的边界处建精确缓存,TTFT 最高降 8.9 倍,精度一点不掉,比近似 replay 靠谱。

arXiv cs.LG@Zekun Wang, Yizhuo WangSource