13:28
官方账号Together AI@togethercompute
官方账号Together AI@togethercompute精选
推荐理由：Dan Fu讲KV缓存和Parcae新缩放定律
Parcae
共 1 条相关 AI 资讯
6月13日
13:28
Dan Fu在斯坦福CS336课程中讲解了推理时的KV缓存、prefill/decode分离技术，以及大规模推理的架构。他介绍了Megakernels，通过融合GPU操作实现接近光速的LLM解码。还讨论了Parcae，解释了循环Transformer的扩展问题及其修复方法，并提出了新的缩放定律，暗示现有方法可能未充分利用智能潜力。