#激活压缩

训练 LLM 显存吃紧的可以看看：BitSparse 靠 ReLU 稀疏性无损压缩激活缓存，NanoGPT 和 Nemotron-H 上实测省三成显存，几乎不拖慢速度。