推理性能相关 AI 资讯 · AI 热点

7月3日

11:56

11:56

官方账号arXiv cs.LG@Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

WattGPU提出了两个预测模型，分别用于平均GPU功耗和令牌间延迟（ITL），仅利用公开的LLM元数据和GPU规格，无需硬件访问或预配置。在42个开源LLM（0.1B-27B参数）和8个GPU的数据集上，通过留一GPU和留一LLM交叉验证，功耗模型在离线场景下中位数绝对百分比误差≤3.4%，服务器场景下≤13.5%；延迟模型在服务器模式下≤8.5%，且GPU排名相关性Kendall τ≥0.76。与基于功耗的热设计功率（TDP）和基于延迟的roofline基线相比，WattGPU在未见过LLM-GPU组合上误差降低约4倍，在完全未见过GPU上降低约2倍。

AI模型 WattGPU LLM GPU 功耗预测推理性能

推荐理由：想省电又怕买错GPU？WattGPU用公开数据就能预测新GPU和新LLM的功耗和速度，不用自己跑实验，误差才几个点。

6月12日

12:38

12:38

Dylan Patel (SemiAnalysis)@dylan522p

该分析报告对 DeepSeek 推理系统在多种硬件平台上的性能进行了详细评估，包括 NVIDIA GB200 NVL72、Blackwell、AMD MI355X 以及华为的芯片。报告还提供了过去 44 天内每日性能随时间变化的追踪数据。这些数据对于理解不同硬件在 AI 推理任务中的实际表现和稳定性具有重要参考价值，尤其适合关注硬件选型和性能优化的 AI 工程师。

行业 DeepSeek 推理性能 GB200 NVL72 Blackwell AMD MI355X 华为硬件对比

推荐理由：这份 44 天的性能追踪数据对做 AI 推理部署的团队很有价值，能直观对比 NVIDIA、AMD 和华为硬件的实际表现，建议点开看具体趋势。

6月4日

01:46

01:46

Fireworks AI@FireworksAI_HQ

在 MSBuild 大会第二天，Fireworks AI 的 @chahvivi 将主持一场现场演示，主题是如何超越通用基础模型，聚焦定制化、推理性能以及生产级 AI 的规模化部署。活动包含真实案例研究，旨在帮助开发者理解如何将 AI 从实验阶段推向实际应用。该演示在 build.microsoft.com 上可观看，适合关注 AI 工程化和部署的团队。

行业 MSBuild Fireworks AI 定制化推理性能 AI 部署

推荐理由：Fireworks AI 的演示直击 AI 落地的核心痛点——定制化和推理性能，做 AI 工程化的团队值得一看，能学到如何把模型从实验推到生产级规模。