量化 Quantization
量化是把模型权重从高精度(如 FP16)压到低比特(如 INT8/INT4)表示,以更小显存和更快速度运行模型的技术。
是消费级硬件跑本地大模型的关键:70B 模型经 4bit 量化后单卡可载。精度损失通常可控,但数学、代码等敏感任务在激进量化下退化明显;GGUF、AWQ、GPTQ 是常见格式/方案。
相关词条
量化是把模型权重从高精度(如 FP16)压到低比特(如 INT8/INT4)表示,以更小显存和更快速度运行模型的技术。
是消费级硬件跑本地大模型的关键:70B 模型经 4bit 量化后单卡可载。精度损失通常可控,但数学、代码等敏感任务在激进量化下退化明显;GGUF、AWQ、GPTQ 是常见格式/方案。