DeepSeek Flash 推理速度达到约 1000 tokens 每秒
DeepSeek Flash 跑到约 1000 tokens 每秒,靠的是模型驱动的推理基础设施,做实时应用的人可以关注下。
DeepSeek Flash 的推理速度被实测约为每秒 1000 tokens。这一速度由模型驱动的底层基础设施优化支撑,而不是单靠硬件堆叠。对交互式应用来说,千 tokens 级别的生成速度能明显降低等待感。
~1000 TPS on deepseek flash love us some model driven model infra