推理基础设施相关 AI 资讯 · AI 热点

6月30日

12:24

12:24

官方账号vLLM@vllm_project

vLLM 项目将于 7 月 2 日在旧金山举办欢乐时光活动。活动由 inferact 和 novita_labs 联合主办。讨论主题聚焦开放权重模型、推理和基础设施。无需会议门票即可参加。

行业 vLLM inferact novita_labs 开放权重模型推理基础设施

推荐理由：vLLM 在旧金山办了个欢乐时光，聊开放权重模型和推理，不用买门票就能去，有空可以逛逛。

6月29日

13:51

13:51

官方账号Together AI@togethercompute

精选

Together AI与5C合作部署NVIDIA GB300 NVL72系统，该系统采用高密度计算、先进冷却和AI优化存储。专为大规模推理和推理任务设计，提升基础设施的算力密度和能效。部署的重点是支撑下一代AI推理需求，尤其是长链推理场景。

行业 Together AI 5C NVIDIA GB300 NVL72 推理基础设施高密度计算

推荐理由：Together AI和5C搞了套GB300 NVL72，算力密度高、散热好，专门跑大规模推理，适合那种费算力的长推理任务。