AMD与Cerebras联合开发低时延AI推理方案 每瓦每秒Token吞吐提升5倍
AMD和Cerebras联手搞推理方案,把Helios和晶圆引擎用在推理上,每瓦token吞吐能翻5倍,专治英伟达Groq组合。
IT之家原文
AMD和Cerebras联手搞推理方案,把Helios和晶圆引擎用在推理上,每瓦token吞吐能翻5倍,专治英伟达Groq组合。
俩公司把高吞吐和低延迟硬件凑一块,2026年推云服务。合作消息一出,Cerebras股价涨11%,说明市场很看好。
微软要用 AMD 最新的 Helios 平台(EPYC Venice+MI455X)跑 AI 推理,32TB 显存、2900 PFLOPS 算力,适合大规模推理负载。
AMD 终于拿出了机架级 AI 平台,显存容量优势对大模型训练团队很关键,做 AI 基础设施选型的值得关注。