int8

general · First seen 2026-06-02 · Last seen 2026-11-18 · 115 mentions

Overview

INT8 是一种 8 位整数数据格式,也是当前大模型推理和 AI 芯片中最主流的低精度量化方案——相比 FP16 可在几乎不损失精度的前提下大幅提升吞吐并降低显存占用,因此常被用作衡量 AI 算力的标准口径。随着模型压缩需求增长,INT8 相关的硬件规格、量化内核库和低比特训练研究正在同步推进。

INT8 相关硬件与量化生态近期进展

  • 华硕推出首款 Intel Arc Pro B70 显卡:32GB ECC 显存,INT8 算力 367 TOPS。INT8 算力已成为推理卡宣传的核心指标,这块卡以大显存加 ECC 定位推理场景。
  • 蚂蚁集团与 vLLM 开源 Humming 量化推理内核库,支持 Zhenwu 810E。软件侧的量化内核正在成为开源推理栈的标准组件,帮助量化模型在 vLLM 等框架中高效运行。
  • 蓝芯计算发布基于 48 核 LX500 的 RISC-V AI 推理超级节点,标称 75 TOPS 算力。国产 RISC-V 芯片也在以整数算力作为主要卖点切入推理市场。
  • Black Forest Labs 发布 FLUX 3 Image Klein:5.6B 参数,8GB 显存可跑。小型模型叠加量化技术,让消费级显卡也能承担图像生成任务。
  • 当前焦点与观察点

    围绕 INT8 的讨论目前集中在三个方向。其一是硬件侧的"算力军备":显卡和边缘芯片普遍以 INT8 TOPS 作为规格亮点,Arc Pro B70 的 367 TOPS、蓝芯 LX500 的 75 TOPS 都说明整数算力已成定价与定位的核心参考。其二是软件侧的量化工程:蚂蚁与 vLLM 开源 Humming 表明,量化内核的性能优化正从研究课题变成推理基础设施的标配。

    学术侧则在探索更极致的压缩边界。STEPQuant 研究 Delta 规则循环状态的量化,WeightPE 把压缩器嵌入训练过程让权重适应更小的表示语法,Paradee 甚至将 Kokoro-82M 蒸馏到 8M 参数。这些都指向同一个趋势:8 比特乃至更低比特的表示正在从"推理优化手段"演变为"训练时就考虑的设计目标"。

    值得观察的点包括:INT8 是否会在部分场景被 FP8、INT4 等格式分流;量化内核生态能否在大厂之外形成社区标准;以及消费级硬件的 INT8 算力宣传与实际推理收益之间的差距。整体来看,INT8 仍是当前性价比与生态兼容度平衡得最好的量化方案,但低比特竞赛已经明显加速。

    Coverage

    10 on file