事件专题 · 多源确认

看见免费,说话不免费:边缘VLM推理的能耗瓶颈

对5个VLM模型、3种架构、4个分辨率和2个硬件平台(NVIDIA RTX 3070、Jetson Orin NX)的系统性能分析发现,平均推理功率是模型固有常量,变化小于5%。每个输出token的耗时是输入token的11到39倍,使输出数量成为能耗和延迟的主要驱动因素。图像复杂程度(物体数量)可导致同分辨率下最高4.1倍的能耗差异,而这实质来自输出长度的变化。控制输出长度可节省高达97%的能耗,而视觉token剪枝最多节省10%。

当前结论

这篇论文用实测数据告诉你,在边缘设备上跑视觉大模型,最费电的不是看图片,而是生成文字。想省电?让它少说。

4 个信源53° AI 热度最后更新 2026/7/10 15:31:06

证据链

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。

查看资讯详情