#UniCache

一帮研究者做了个叫 UniCache 的免训练压缩框架，多模态模型缓存能压 5 倍，长上下文吞吐还能快 1.78 倍，做部署的可以看看。