11:47
向阳乔木@vista8
向阳乔木@vista8推荐理由：刚学 AI 的赶紧看这条，int4/int8 量化能帮你省下几块显卡的钱，3080 跑 70B 模型不是梦。
int4
共 1 条相关 AI 资讯
7月29日
11:47
量化技术通过将模型权重从 fp16 或 fp32 转换为 int4 或 int8 精度，可大幅降低显存占用。例如，int4 量化能将 70B 参数模型从约 140GB 显存降至约 35GB。int8 量化在保持较高精度的同时，显存消耗减少约 50%。该技术让消费级 GPU 也能运行大规模模型。