Chinese contentCACPU：CPU 端因果注意力内核，比 PyTorch SDPA 快 2.01 倍
多智能体把 GPU 打满时，这篇论文教你怎么用 CPU 跑预填充，比 PyTorch SDPA 快 2 倍，还接进了 SGLang。
#CACPU
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "CACPU", newest first.
Oct 30
多智能体把 GPU 打满时，这篇论文教你怎么用 CPU 跑预填充，比 PyTorch SDPA 快 2 倍，还接进了 SGLang。