#Megakernel

2 stories · 0 in 7 days · 0 in 30 days

Cohere 2 GPU 1 LLM 1 North Mini Code 1 vLLM 1 内核融合 1 推理优化 1

Stories, products and papers tagged "Megakernel", newest first.

Sep 9

Products BuildersMulti-source78°08:49

Chinese contentCohere 开源 Megakernel 推理系统

Cohere 开源了比 vLLM 快 1.58 倍的 Megakernel 推理系统，解决了传统引擎在算子边界处的 GPU 空转问题。

#Megakernel #Cohere #North Mini Code #vLLM

shao__meng@shao__meng3 sourcesSource

Models Builders07:52

Chinese contentCohere推出融合LLM解码步骤的Megakernel

Cohere把LLM解码步骤合并成一个内核，大幅提升GPU效率，代码已开源。

#Cohere #Megakernel #LLM #GPU

官方账号Cohere@cohereSource