09:55
官方账号arXiv cs.AI@Junfei Zhan, Haoxun Shen, Mingang Guo, Zixuan Huang, Tengjiao He
推荐理由：这篇论文用实测数据告诉你，在边缘设备上跑视觉大模型，最费电的不是看图片，而是生成文字。想省电？让它少说。
边缘推理
共 2 条相关 AI 资讯
7月13日
09:55
对5个VLM模型、3种架构、4个分辨率和2个硬件平台（NVIDIA RTX 3070、Jetson Orin NX）的系统性能分析发现，平均推理功率是模型固有常量，变化小于5%。每个输出token的耗时是输入token的11到39倍，使输出数量成为能耗和延迟的主要驱动因素。图像复杂程度（物体数量）可导致同分辨率下最高4.1倍的能耗差异，而这实质来自输出长度的变化。控制输出长度可节省高达97%的能耗，而视觉token剪枝最多节省10%。
5月13日
02:41
02:41
官方账号NVIDIA AI@NVIDIAAI
官方账号NVIDIA AI@NVIDIAAI推荐理由：对于关注边缘AI部署和模型压缩的开发者，Nemotron系列的技术细节具有实际参考价值，尤其适合了解NVIDIA在小模型领域的最新动态。