Anthropic 正洽谈使用微软 Maia 200 芯片进行推理

The Information: Anthropic is currently in early-s…

精选理由

微软 Maia 芯片若在推理成本上优于英伟达,做大规模 AI 推理的团队将多一个省钱选择,Anthropic 的动向值得关注。

AI 摘要

据 The Information 报道,Anthropic 正在与微软进行早期谈判,计划租赁并使用微软自研的 Maia 200 AI 芯片用于推理任务。微软宣称 Maia 200 在某些推理场景下比英伟达芯片更具成本效益。该芯片是微软第二代 AI 加速器,采用台积电 3nm 工艺,配备 216GB HBM3e 显存和 7TB/s 带宽,专为快速处理大模型推理而设计。Anthropic 已承诺向 Azure 投入 300 亿美元,微软可能向 Anthropic 投资 50 亿美元,且 Claude 已深度集成到微软 Copilot 中,因此芯片合作是双方客户-供应商反馈循环的一部分。分析认为,Maia 无需在所有领域击败英伟达,只要在特定高容量推理任务中更便宜,就能将数十亿 token 从 GPU 转移过来。

AI 翻译 · 中文

据 The Information 报道,Anthropic 正在与微软进行早期谈判,计划租赁并使用微软自研的 Maia 200 AI 芯片用于推理任务。微软宣称 Maia 200 在某些推理场景下比英伟达芯片更具成本效益。该芯片是微软第二代 AI 加速器,采用台积电 3nm 工艺,配备 216GB HBM3e 显存和 7TB/s 带宽,专为快速处理大模型推理而设计。Anthropic 已承诺向 Azure 投入 300 亿美元,微软可能向 Anthropic 投资 50 亿美元,且 Claude 已深度集成到微软 Copilot 中,因此芯片合作是双方客户-供应商反馈循环的一部分。分析认为,Maia 无需在所有领域击败英伟达,只要在特定高容量推理任务中更便宜,就能将数十亿 token 从 GPU 转移过来。

rohanpaul_aiThe Information: Anthropic is currently in early-stage talks to lease and deploy Microsoft's custom AI chips for inference workloads. Microsoft is pitching Maia 200 as a cheaper way to run some AI inference, and claims m