#int8

共 1 条 · 7 天 0 条 · 30 天 0 条

int4 1 大模型推理 1 显存优化 1 量化 1

信息流里打上「int8」标签的资讯、产品与论文，按刊登时间排，新的在上。

7月29日

技巧 Agent 与开发者11:47

量化 Quantization（int4、int8）：如何用更少显存跑大模型

刚学 AI 的赶紧看这条，int4/int8 量化能帮你省下几块显卡的钱，3080 跑 70B 模型不是梦。

#量化 #int4 #int8 #显存优化

向阳乔木@vista8原文