7月24日
7月17日
07:20
07:20Gary Marcus@GaryMarcus
Gary Marcus 指出 AI 推理成本正经历有史以来最陡峭的商品曲线。他引用数据,中国模型每百万 token 仅需 $0.50,比 Anthropic 的 $56 便宜 112 倍。相比之下,石油价格压缩用了 40 年,半导体用了 20 年,而 AI 推理仅用数月。Anthropic 和 OpenAI 的定价分别为 $56 和 $26,远高于 Meta 的 $1.50、xAI 和 Google 的 $1。
事件专题

推荐理由:Gary Marcus 用数据告诉你,AI 推理价格一年内垮塌到原来的百分之一,中国模型成本只有 Anthropic 的零头,这对整个行业都是改变游戏规则的事。
7月2日
18:03
18:03官方一手Pandaily@contact@pandaily.com (Pandaily)
阿里云在巴黎和马来西亚柔佛开设新数据中心区域,以应对AI推理需求增长。公司宣布未来几年投资527亿美元用于全球基础设施扩建,这是其战略重心转向海外的举措。阿里云目前在全球30个区域运营。
事件专题

推荐理由:阿里云砸527亿美元扩张海外,新开了巴黎和柔佛的数据中心,主攻AI推理。看看这个云计算巨头怎么打仗。
7月1日
02:48
02:48Amjad Masad@amasad
精选
AI推理成本高昂的原因之一是多数工作负载运行在预LLM时代的通用硬件上。Etched从隐身模式亮相,其系统专为现代推理从零设计。公司已获得超过10亿美元客户合同和8亿美元融资。早期测试显示,在推理工作负载上吞吐量、延迟和能效均达到SOTA。首批机架将于今年夏季发货。
事件专题

推荐理由:Etched做了专为AI推理优化的芯片,比通用硬件在吞吐、延迟、能效上都做到了目前最好。今年夏天就发货,关注成本的人可以看看。
02:17
02:17官方账号NVIDIA AI@NVIDIAAI
Nemotron Labs发布了一项基于5000名Kaggle竞赛参与者数据的研究。他们分析了参与者的解题行为与推理策略。研究揭示了团队协作和多样化方法对提升AI推理效果的关键作用。这些经验可直接应用于现有模型的优化。
事件专题

推荐理由:Nemotron Labs用5000个Kaggle实战案例总结了AI推理的改进方法,比看论文更接地气。
6月4日
6月3日
6月2日
5月28日
5月27日
5月22日
16:20
16:20IT之家博客/媒体
联想集团董事长杨元庆在财报沟通会上表示,AI基础设施正从训练向推理快速转移,目前70-80%的GPU服务器用于训练,未来将反转至70%用于推理、30%用于训练。他强调训练需求不会减少,但仅靠大型云服务商已无法满足需求。联想2026财年AI相关收入同比增长105%,占总营收33%,第四季度占比达38%。
推荐理由:杨元庆的预测揭示了AI算力市场的结构性拐点——推理需求将主导未来,做AI应用部署和基础设施规划的团队值得关注这一趋势,提前调整算力采购策略。
5月19日
16:43
16:43官方账号阿里云 Alibaba Cloud@alibaba_cloud
阿里云宣布 Apache RocketMQ 5.x 引入 LiteTopic 功能,专为 AI 推理任务设计。传统消息队列限流无法应对 AI 推理的长耗时和不可预测性,LiteTopic 提供毫秒级细粒度流量治理,能有效管理 AI 推理流量。该功能解决了 AI 场景下消息队列的痛点,适合需要高精度流量控制的 AI 应用团队。

推荐理由:AI 推理任务流量波动大,传统 MQ 限流不够用——RocketMQ 5.x 的 LiteTopic 给了毫秒级控制能力,做 AI 推理服务或消息队列架构的团队值得关注。