8月26日
07:53
07:53官方一手marktechpost@Asif Razzaq
Liquid AI发布开源平台Pipette,用于在边缘设备上基准测试基础模型,与Artificial Analysis合作,独立验证方法。Pipette将设备上的行为作为评估标准,报告在服务器级、全精度条件下的模型卡片质量,这些数字很少能预测模型在手机上的表现。
推荐理由:Liquid AI发布了Pipette,这是一个开源的基准测试套件,可以综合评估设备模型、量化、运行时和硬件,对于想要了解模型在边缘设备上表现的人来说是个好工具。
7月21日
11:26
11:26官方账号arXiv cs.AI@Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang
SelectInfer是一个神经元级优化框架,通过离线分析识别任务特定和通用神经元,实现选择性加载和动态计算。在多个数据集上评估,内存占用减少40%-60%,计算量降低30%-50%,同时保持任务性能。该方法无需重新训练或微调,适用于资源受限的边缘设备。
推荐理由:这篇论文提出了一种在手机上跑大模型的新思路:不加载全部神经元,只算有用的部分。效果不错,内存和计算都省很多,关键是精度没掉。