Chinese contentSambaNova 在超算大会展示 Intel GPU 与 SambaRack SN50 组合推理部署
SambaNova 在 SC 大会现场跑了个分离式推理 demo:Intel GPU 管预填充,自家 SambaRack SN50 管解码,还全是风冷。做推理部署、纠结液冷成本的工程师可以去看看他们怎么拆分 prefill 和 decode 的。
SambaNova 在 SC 大会现场跑了个分离式推理 demo:Intel GPU 管预填充,自家 SambaRack SN50 管解码,还全是风冷。做推理部署、纠结液冷成本的工程师可以去看看他们怎么拆分 prefill 和 decode 的。