AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：GPU×
6月19日
04:31
04:31Latent.Space@latentspacepod
73°
AMP 创始人 Anjney Midha 在播客中分享 Google 内部将 95% GPU 利用率视为“故障”的标准，指出单纯购买更多 GPU 已非 AI 竞争核心。他介绍 AMP 正推动将 FLOPs 像兆瓦级电力一样调度，并警告数据中心阻力可能成为 AI 最大瓶颈之一。同时分析 Anthropic 通过独特文化和准备在编码领域取得突破，DeepMind 的研究囤积导致市场失灵，强调下一个前沿属于能在计算、资本、文化和科学上“最大化输出”的团队。
行业AnthropicDeepMindAMPGPU数据中心计算效率
推荐理由：想知道为什么买更多 GPU 不灵了？Anthropic 是怎么靠文化和准备搞定编码的？AMP 创始人讲得特别透，全是内行视角的干货。
原文
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月10日
21:43
6月9日
13:29
6月6日
15:44
15:44Aadit Sheth@aaditsh
72°
据一份新文件显示，SpaceX 与 Google 达成协议，从 2026 年 10 月起每月向 Google 提供约 11 万块 NVIDIA GPU 的计算能力，月费高达 9.2 亿美元，合同总额约 300 亿美元。Google 自身拥有 TPU 和庞大云基础设施，却向一家火箭公司租用 GPU，引发行业震动。这可能意味着 Google 的 AI 算力需求已超出自身建设速度，或 SpaceX 在 AI 基础设施方面有未公开的突破。合同允许任何一方在 2026 年 12 月后提前 90 天终止，Google 保留其 AI 模型和数据的知识产权。
行业GPU算力租赁GoogleSpaceXNVIDIA
推荐理由：这则消息揭示了 AI 算力需求已大到连 Google 都要向火箭公司租 GPU，做 AI 基础设施或关注算力瓶颈的从业者值得点开，看看背后到底发生了什么。
原文
07:17
5月30日
11:08
01:29
01:29rohanpaul_ai@rohanpaul_ai
83°
Kog AI 在 8× AMD MI300X GPU 上实现了 3000 tokens/s 的推理速度，在 8× NVIDIA H200 上达到 2100 tokens/s（FP16，无投机解码）。这一速度比常规低批次解码快 10-30 倍。其核心创新是将 LLM 解码视为内存流问题而非数学问题，通过 monokernel 技术将整个解码过程作为单个持久 GPU 程序运行，消除了内核启动、CPU 调度和中间内存往返的开销。他们还优化了同步机制和内存访问，并设计了 Laneformer 模型使用延迟张量并行技术。目前技术预览基于 2B 模型，但声称可扩展到大型 MoE 模型。
AI模型推理优化GPUKog AIAMD MI300XNVIDIA H200
推荐理由：Kog AI 把 GPU 推理的隐藏效率瓶颈挖出来了，做 LLM 推理优化的开发者可以直接关注他们的技术预览，看看 monokernel 和延迟张量并行能否复现到自己的模型上。
原文
5月25日
08:04
5月23日
19:41
5月21日
00:10
5月20日
21:52