OpenAI研究员认证！AMD和Cerebras合作搞的AI推理方案，延迟低到任务秒完成，每瓦性能提升5倍，搞AI推理的可以看看。
OpenAI 研究员 Jeffrey Wang 称赞 AMD 与 Cerebras 联合开发的 AI 推理解决方案性能“令人难以置信”。该方案整合 AMD Helios 机架（处理提示词与大上下文）和 Cerebras 晶圆级引擎（负责 Token 生成，超低延迟），预计每瓦每秒 token 数量提升 5 倍。Wang 表示，内部在 Cerebras 芯片上运行 OpenAI 模型，推理速度极快，任务切换瞬间完成。
IT之家 7 月 29 日消息，科技媒体 Wccftech 昨日（7 月 28 日）发布博文，报道称 OpenAI 公司研究员 Jeffrey Wang 指出， AMD 携手 Cerebras 公司联合开发 AI 推理解决方案表现“令人难以置信”。 IT之家此前报道，该解决方案主要针对超低延迟 AI 推理场景，将整合 AMD 的 Helios 机架级解决方案与 Cerebras 的晶圆级引擎，从而应对英伟达和 Groq 合作。 按照双方披露的路线，Helios 机架承担高性能、可扩展吞吐引擎角色，主要处理提示词与大上下文窗口。 Cerebras 的 Wafer-Scale Engine 则负责对内存带宽要求更高的 Token 生成与解码环节，强调超低时延表现，结合使用 2 个计算引擎，预估可以将每瓦每秒 token 数量提高 5 倍。 OpenAI 的研究员 Jeffrey Wang 高度评价 AMD 联合开发的 AI 推理解决方案，表示： 我们内部在 Cerebras 芯片上运行某些 OpenAI 模型，表现非常出色，其推理速度非常亮眼。 对于我们日常工作而言，以前我可能需要等待几分钟才能完成一项任务，而现在切换任务的瞬间，该任务就已经完成了，这大大提高了我们的工作效率。 相关阅读： 《 AMD 携手 Cerebras 押注低时延 AI 推理：每瓦每秒 Token 吞吐提升 5 倍 》 《 和 AMD 合作推进 AI 推理硬件利好，Cerebras Systems 今日股价盘中上涨 11% 》