Chinese contentSambaNova：预填充用 GPU，解码用 SN50
SambaNova 提出把预填充交给 GPU、解码交给自家的 SN50 芯片，理由是写答案才是慢的那一步。跑智能体推理的可以看看这个分工思路。
#SN50
5 stories · 0 in 7 days · 4 in 30 days
Stories, products and papers tagged "SN50", newest first.
Nov 6
Nov 5
Chinese contentSupermicro 与 SambaNova 合作推出推理系统，首批 1 万颗 SN50 芯片
SambaNova 拉上 Supermicro 卖推理机，GPU 管预填充、自家的 SN50 芯片管解码，首批 1 万颗，专门冲着跑 agent 去的。
Nov 3
Chinese contentSambaNova 拆解智能体成本：烧钱的是输出 token 不是请求次数
SambaNova 讲了个很多人算错的钱：智能体烧钱看输出 token，不是请求数，串行调用还会把延迟和成本一起放大。
Sep 29