05:48
@koltregaskes@koltregaskes
@koltregaskes@koltregaskes精选79°
推荐理由：OpenAI没换硬件，靠软件就把推理成本砍了一半。这对模型成本和用户体验可能都有影响，值得了解。
软件优化
共 1 条相关 AI 资讯
7月2日
05:48
OpenAI近期通过纯软件优化将推理成本降低了约50%，工程师利用更好的批处理和KV-cache管理提升了GPU利用率。该优化已部署到ChatGPT的登录用户流量中，GPU需求降至仅数百块。部分人猜测这是通过量化实现，并可能关联到近期ChatGPT质量下降的投诉。