09:55
官方账号arXiv cs.AI@Junfei Zhan, Haoxun Shen, Mingang Guo, Zixuan Huang, Tengjiao He
推荐理由：这篇论文用实测数据告诉你，在边缘设备上跑视觉大模型，最费电的不是看图片，而是生成文字。想省电？让它少说。
能耗分析
共 1 条相关 AI 资讯
7月13日
09:55
对5个VLM模型、3种架构、4个分辨率和2个硬件平台（NVIDIA RTX 3070、Jetson Orin NX）的系统性能分析发现，平均推理功率是模型固有常量，变化小于5%。每个输出token的耗时是输入token的11到39倍，使输出数量成为能耗和延迟的主要驱动因素。图像复杂程度（物体数量）可导致同分辨率下最高4.1倍的能耗差异，而这实质来自输出长度的变化。控制输出长度可节省高达97%的能耗，而视觉token剪枝最多节省10%。