#VBR

共 1 条 · 7 天 0 条 · 30 天 0 条

KV缓存 1 内存优化 1 推理优化 1 量化 1

信息流里打上「VBR」标签的资讯、产品与论文，按刊登时间排，新的在上。

7月15日

模型精选02:16

VBR新KV缓存格式：动态逐层量化优化VRAM使用

SpiritBun 搞了个新 KV 缓存格式 VBR，逐层动态量化，在显存限制内榨出最高质量，已开源可用。

#VBR #KV缓存 #量化 #推理优化

官方账号Clement Delangue@ClementDelangue原文