Emad 回顾 Stability AI 的 Ezra 超算:4,000 块 A100 曾进全球前十
Emad 晒了 Stability AI 当年那台 4000 张 A100 的 Ezra 集群,全球前十,再看现在 8 个 B300 节点就接近它,算力迭代真快。
Stability AI 创始人 Emad Mostaque 回顾 2022 年上线的 Ezra 超算集群,由 AWS 部署 4,000 块专用互联 A100。该集群在当时 TOP500 公开超算榜单上位列全球前十。按 MFU 调整后可输出 500 Pflops 的 fp16 训练算力。他对比指出如今 8 个 B300 节点就能达到 300 Pflops 的 fp4 算力。
In 2022 AWS bought our Ezra ultra cluster online, 4,000 dedicated, interconnected A100s
It was top 10 globally per the https://t.co/IE2pDoiVr1 public supercomputer list (!)
It could push 500 Pflops of fp16 training compute MFU adjusted
8 B300 nodes can push 300 Pflops fp4 😂