Chinese contentBeNice!:让循环架构共享 KV 缓存,推理内存大幅下降
循环模型每次循环都要单独存一份 KV 缓存,内存爆炸。这篇论文的两阶段训练方法让缓存能跨层共享,首 token 时间砍了 83.6%,做长推理的可以看看。
循环模型每次循环都要单独存一份 KV 缓存,内存爆炸。这篇论文的两阶段训练方法让缓存能跨层共享,首 token 时间砍了 83.6%,做长推理的可以看看。
This research is relevant for anyone interested in improving the reasoning capabilities of AI models, particularly through novel architectural designs.
一种新的Transformer改进:只改中间20%的层加个循环机制,就能让模型推理更持久,而且可以直接改装现有模型不用从头训。
这篇论文用循环架构解决了世界模型长程预测的计算瓶颈,参数省了100倍还能自适应深度,做仿真和规划的研究者值得看。