05:48
@koltregaskes@koltregaskes
@koltregaskes@koltregaskes精选79°
推荐理由：OpenAI没换硬件，靠软件就把推理成本砍了一半。这对模型成本和用户体验可能都有影响，值得了解。
精选
过去 24 小时，从 786 条中筛出 41 条
7月2日
05:48
OpenAI近期通过纯软件优化将推理成本降低了约50%，工程师利用更好的批处理和KV-cache管理提升了GPU利用率。该优化已部署到ChatGPT的登录用户流量中，GPU需求降至仅数百块。部分人猜测这是通过量化实现，并可能关联到近期ChatGPT质量下降的投诉。
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月1日
00:09
AITOP6月1日 00:09
