神经元级压缩相关 AI 资讯 · AI 热点

7月21日

11:26

11:26

官方账号arXiv cs.AI@Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

SelectInfer是一个神经元级优化框架，通过离线分析识别任务特定和通用神经元，实现选择性加载和动态计算。在多个数据集上评估，内存占用减少40%-60%，计算量降低30%-50%，同时保持任务性能。该方法无需重新训练或微调，适用于资源受限的边缘设备。

论文 SelectInfer LLM 边缘设备

推荐理由：这篇论文提出了一种在手机上跑大模型的新思路：不加载全部神经元，只算有用的部分。效果不错，内存和计算都省很多，关键是精度没掉。