Chinese contentRoLaQ：面向 2-bit KV 缓存的旋转与范围联合校准方法
论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。
#RoLaQ
1 stories · 0 in 7 days · 1 in 30 days
Stories, products and papers tagged "RoLaQ", newest first.
Oct 16
论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。