FLOPs

general · First seen 2026-05-22 · Last seen 2026-11-19 · 138 mentions

Overview

FLOPs(浮点运算次数,Floating Point Operations)是衡量模型计算量的基本单位,在大模型领域常被用来评估训练与推理的计算成本。随着算力成为 AI 竞争的核心资源,如何降低单位任务所需的 FLOPs,正从工程细节上升为研究方向本身。近期的多篇论文和行业讨论显示,围绕 FLOPs 的优化已覆盖蒸馏、剪枝、视觉推理等多个环节。

FLOPs 优化的近期进展

  • Salesforce 的一项研究比较了从外部大模型蒸馏与强化学习两种训练路径的算力开销,结论是蒸馏整体更耗算力,但通过合并领域专家模型可节省 42% 的 FLOPs(Salesforce 研究:从外部大模型蒸馏比 RL 更耗算力,合并领域专家可省 42% FLOPs)。同期 arXiv 上也有工作对比了 on-policy 蒸馏与 GRPO 的算力效率(研究对比 on-policy 蒸馏与 GRPO 的算力效率),显示训练路线选择的算力账本正被越来越精细地核算。
  • 视觉语言模型的推理开销方面,C$^2$-Routing 提出对视觉 token 进行裁剪与压缩互补处理,将 VLM 视觉推理的 FLOPs 降低 36.53%(C$^2$-Routing:裁剪与压缩互补,让 VLM 视觉推理 FLOPs 降 36.53%)。
  • 模型压缩与结构改进也在推进:有工作利用注意力偏置为 Transformer 剪枝以降低计算成本(利用注意力偏置为 Transformer 剪枝降低计算成本);另有 CRAM 能量模型宣称训练与推理速度比 Looped 模型快 1000 倍(CRAM 能量模型训练推理速度比 Looped 模型快 1000 倍),不过此类数字通常来自特定基准,实际迁移效果有待验证。
  • 算力话题也延伸到产业层面:黄仁勋在 Dwarkesh 播客中关于对华芯片出口的说法遭到 Gary Marcus 批评(Gary Marcus 批评黄仁勋在 Dwarkesh 播客中关于对华芯片出口的说法),而算力供给政策与 FLOPs 成本直接相关。
  • 当前焦点与观察点

    围绕 FLOPs 的讨论呈现两个趋势:一是“算力效率”从次要指标变为论文的核心卖点,蒸馏与 RL 的成本对比、token 裁剪、注意力剪枝等方法都在追求同等能力下更少的计算量;二是行业层面,芯片出口管制与开放权重路线(如 NVIDIA 参与联署支持开放权重模型的公开信)正在影响算力的实际供给与分配。需要注意的是,不同论文报告 FLOPs 节省比例时口径不一,横向比较时应留意基准设置;同时降低 FLOPs 并不必然降低总成本,还需结合硬件利用率与能耗综合评估。对关注该领域的研究者和工程团队而言,算力效率指标值得持续跟踪,但对单个方法的具体数字保持审慎。

    Coverage

    10 on file