推理成本相关 AI 资讯 · AI 热点

7月8日

01:54

01:54官方一手Berkeley BAIR Blog（博客/媒体）

精选

AI推理成本急剧下降：GPT-4级能力从2023年初每百万token约30美元降至目前低于1美元，部分供应商甚至低于0.10美元。每年推理价格下降9至900倍，中位数约50倍。低成本智能已能满足绝大多数知识工作，催生数据系统三大方向：为智能体设计数据系统、由智能体组成的数据系统、由智能体构建数据系统。

行业智能体数据系统推理成本 GPT-4 UC Berkeley

推荐理由：UC Berkeley教授深入分析AI成本暴跌后数据系统怎么变，三个方向很有启发。

7月7日

19:51

19:51

官方账号Decoder@Maximilian Schreiner

据CNBC报道，中国AI模型在美国公司中越来越受欢迎，因为其成本远低于OpenAI和Anthropic的系统。在OpenRouter平台上，中国模型的调用份额经常超过30%，且与西方模型的成本差距正在扩大。这反映出中国AI厂商在价格竞争力上的显著优势，可能影响全球AI服务定价格局。

行业 OpenRouter 中国AI模型推理成本模型竞争力

推荐理由：中国模型在OpenRouter上抢了近三分之一流量还便宜一大截，看看谁在降价抢客户

7月3日

20:49

20:49

@koltregaskes@koltregaskes

作者研究后发现，在Together AI或Fireworks上对7-16B模型做LoRA微调，计算成本仅需£10-50，70B QLoRA也不超过£200。推理方面，托管端点按基模型费率收费约£0.20-0.90/百万token，自托管spot H100约£1-2.50/小时，但流量波动时容易超支。数据准备和GDPR合规仍需投入时间。整体门槛已大幅降低，适合企业用自有数据试点。

技巧微调 Together AI Fireworks LoRA 推理成本

推荐理由：这位工程师给算了一笔账：微调7B模型只要几十英镑，而且托管推理按量付费，建议老板们别再犹豫了。

7月2日

05:48

05:48

@koltregaskes@koltregaskes

精选79°

OpenAI近期通过纯软件优化将推理成本降低了约50%，工程师利用更好的批处理和KV-cache管理提升了GPU利用率。该优化已部署到ChatGPT的登录用户流量中，GPU需求降至仅数百块。部分人猜测这是通过量化实现，并可能关联到近期ChatGPT质量下降的投诉。

行业 OpenAI 推理成本 KV-cache 量化软件优化

推荐理由：OpenAI没换硬件，靠软件就把推理成本砍了一半。这对模型成本和用户体验可能都有影响，值得了解。

7月1日

00:57

00:57

The Rundown AI@therundownai

精选76°

Anthropic CEO Dario Amodei 将“compute multipliers”定义为AI领域高度保密的效率提升方法，并限制公司内部知情人数以防止泄露给竞争对手。The Information 报道，OpenAI 已发现一个可将其推理成本减半的 compute multiplier。同时，OpenAI 近期与 Broadcom 合作推出了自研 Jalapeño 芯片，旨在进一步提升推理效率并降低成本。

行业 Anthropic OpenAI compute multipliers Jalapeño芯片推理成本

推荐理由：Anthropic 内部保密的一种效率提升方法“compute multipliers”曝光，OpenAI 抢先实现推理成本减半，还自研了 Jalapeño 芯片，值得关注。

6月30日

22:36

22:36IT之家（博客/媒体）

OpenAI 工程师透露，通过一系列系统底层优化，AI 模型推理成本已降低超过50%。优化主要依靠提升现有服务器资源利用率，而非新增计算芯片。此举可减少英伟达芯片使用量，节省的成本可能用于降低API定价或提高用户使用限额。

行业 OpenAI 推理成本系统优化英伟达

推荐理由：OpenAI 不靠堆芯片，靠系统优化就把推理成本砍半，API 用户很快能享受降价或更高额度。

6月13日

00:19

00:19

OpenRouter@OpenRouterAI

OpenRouter 宣布本月为“成本削减月”，将每周至少推出一次重大功能更新，帮助用户降低推理成本。他们基于过去三年的数据发现，每次重大技术突破后，用户都会面临成本压力。首批策略包括多种优化方法，已在客户中广泛使用。这些措施旨在让开发者更经济地使用 AI 模型。

AI产品推理成本 OpenRouter 成本优化 AI 产品开发者工具

推荐理由：OpenRouter 直接瞄准 AI 推理成本痛点，做模型调用的团队可以每周关注其新功能，能省下真金白银。

6月8日

23:49

23:49

Aadit Sheth@aaditsh

OpenRouter 完成 1.13 亿美元融资，其收入在三个月内翻倍以上，验证了 AI 推理成本快速下降的趋势。GPT-4 每百万 token 价格从三年前的 30 美元降至不到 1 美元，80/20 路由分流已成标准实践。Coinbase CEO Brian Armstrong 预测，12-18 个月内 80% 的 AI 工作负载将运行在便宜 99% 的模型上，仅 20% 需要最新高端模型。Coinbase 已通过路由策略将成本基本持平，而 token 使用量仍在指数增长。这暗示未来瓶颈将是能源和算力，而非模型本身。

行业 OpenRouter 融资推理成本路由分流 Coinbase

推荐理由：AI 推理成本断崖式下跌正在重塑行业格局，做 AI 应用或基础设施的团队值得关注——路由策略能直接省下 80% 成本，建议尽早布局。

6月3日

20:09

20:09

官方一手pandaily@contact@pandaily.com (Pandaily)

Moffett AI 发文批评当前 AI 硬件行业“堆算力”的惯性思维，认为万亿参数模型并不总是需要同等规模的昂贵基础设施。他们提出，推理成本优化应聚焦于“匹配任务需求”，避免过度配置。文章以“别用大炮打蚊子”比喻，强调针对不同场景选择合适算力，而非一味追求高端 GPU。这一观点挑战了 NVIDIA 主导的高性能硬件路线，为中小企业和边缘计算场景提供了更经济的 AI 部署思路。

行业推理成本硬件优化 Moffett AI 算力匹配边缘计算

推荐理由：Moffett AI 戳破了“算力越大越好”的行业泡沫，做 AI 部署和成本控制的团队看完会重新审视自己的硬件采购清单，值得点开反思。

6月2日

10:32

10:32

AI Will@FinanceYF5

本周7篇顶级论文集中攻克AI Agent的三大核心问题：prompt设计依赖猜测、推理成本高昂、上下文无限膨胀。每篇论文都提供了可落地的工程启示，旨在降低AI Agent的部署和运行成本。这些研究有望推动AI Agent从实验走向实际应用，尤其对开发者和研究者具有重要参考价值。

论文 AI Agent 论文周报 prompt优化推理成本上下文管理

推荐理由：做AI Agent开发的团队终于有了解决prompt猜测和推理烧钱的工程方案，7篇论文直击痛点，值得逐篇拆解。

5月28日

06:14

06:14

rohanpaul_ai@rohanpaul_ai

The Grid 是一个智能推理路由层，它根据任务复杂度自动选择最合适的模型，并按实时市场价格计费，而非固定费率。用户只需定义任务等级（标准、高级、最大），The Grid 会在多个供应商中动态选择最便宜的可用模型。这避免了为简单任务支付高端模型费用，也摆脱了对单一供应商的依赖。新用户可免费使用前 2 亿 token。作者演示了如何将 Hermes Agent 与 The Grid 集成，在本地运行代理但通过 The Grid 调用 AI。

AI产品推理成本模型路由供应商管理 Hermes Agent API

推荐理由：做 AI 应用开发的团队，如果还在为推理成本头疼，The Grid 的思路值得一试——它用市场机制替代了固定定价，简单任务不再花冤枉钱。

5月26日

16:11

16:11

AI Will@FinanceYF5

DeepSeek 宣布将 V4-Pro 模型的 API 价格永久下调 75%，降至原价的 25%。此举被认为与中国 AI 基础设施从受限的 NVIDIA GPU 转向华为昇腾 950 芯片有关，供应链改善推动了推理成本下降。路透社报道指出，虽然 DeepSeek 未明确确认昇腾 950 供应增加是降价主因，但时间点暗示了中国 AI 成本曲线正在持续下移。这一变化意味着中国 AI 模型在价格竞争力上进一步逼近甚至超越国际对手。

AI产品 DeepSeek V4-Pro 华为昇腾推理成本 API降价

推荐理由：DeepSeek 把 V4-Pro 价格砍到原价四分之一，做 API 调用的开发者和企业可以直接省下大笔推理成本，建议关注华为昇腾生态的性价比变化。