#LoopVQ

1 stories · 1 in 7 days · 1 in 30 days

KV Cache 1 Looped Transformer 1 SGLang 1 量化 1

Stories, products and papers tagged "LoopVQ", newest first.

Nov 4

Papers Builders13:10

Chinese contentLoopVQ：面向 Looped Transformer 的亚 1-bit KV Cache 量化方法

.looped 模型参数省但 KV cache 爆炸，这篇提出 0.5bit 量化方案，SGLang 实测吞吐最高涨 6.1 倍，做部署的可以看看。

#LoopVQ #KV Cache #量化 #Looped Transformer

arXiv cs.LG@Minsoo Cheong, Sungjoo YooSource