FLOPs(浮点运算次数,Floating Point Operations)是衡量模型计算量的基本单位,在大模型领域常被用来评估训练与推理的计算成本。随着算力成为 AI 竞争的核心资源,如何降低单位任务所需的 FLOPs,正从工程细节上升为研究方向本身。近期的多篇论文和行业讨论显示,围绕 FLOPs 的优化已覆盖蒸馏、剪枝、视觉推理等多个环节。
FLOPs 优化的近期进展
当前焦点与观察点
围绕 FLOPs 的讨论呈现两个趋势:一是“算力效率”从次要指标变为论文的核心卖点,蒸馏与 RL 的成本对比、token 裁剪、注意力剪枝等方法都在追求同等能力下更少的计算量;二是行业层面,芯片出口管制与开放权重路线(如 NVIDIA 参与联署支持开放权重模型的公开信)正在影响算力的实际供给与分配。需要注意的是,不同论文报告 FLOPs 节省比例时口径不一,横向比较时应留意基准设置;同时降低 FLOPs 并不必然降低总成本,还需结合硬件利用率与能耗综合评估。对关注该领域的研究者和工程团队而言,算力效率指标值得持续跟踪,但对单个方法的具体数字保持审慎。