单卡700TPS！Google发布Diffusion Gemma，26B模型4B激活
Diffusion Gemma把文本生成速度拉到单卡700TPS，做实时对话或高吞吐推理的团队可以直接用，4bit量化16G显存就能跑，值得试试能否做投机解码的草稿模型。
#Diffusion模型
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「Diffusion模型」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月12日
Diffusion Gemma把文本生成速度拉到单卡700TPS，做实时对话或高吞吐推理的团队可以直接用，4bit量化16G显存就能跑，值得试试能否做投机解码的草稿模型。
