02:16
官方账号Clement Delangue@ClementDelangue
官方账号Clement Delangue@ClementDelangue精选
推荐理由：SpiritBun 搞了个新 KV 缓存格式 VBR，逐层动态量化，在显存限制内榨出最高质量，已开源可用。
VBR
共 1 条相关 AI 资讯
7月15日
02:16
Clement Delangue 转推了 SpiritBun 的 VBR（Variable Bit Rate）KV 缓存格式。该格式在会话增长过程中逐层动态量化 KV 缓存，在 VRAM 限制内最大化生成质量。目前代码已合入主分支并可用。