#KV compression

苹果和英伟达设备都能跑的无损 KV 压缩，内存省 26%、吞吐提 29%，做端侧长上下文推理的值得看看这套编解码思路。

全双工语音模型聊久了内存会爆，这篇用转录旁路压缩KV，十分钟会话峰值缓存直接砍掉64.6%，性能还不掉。

PASK让结构化生成更高效，在保持准确性的同时大幅降低内存使用，提升处理速度。