边缘设备相关 AI 资讯 · AI 热点

8月26日

07:53

07:53

官方一手marktechpost@Asif Razzaq

Liquid AI发布开源平台Pipette，用于在边缘设备上基准测试基础模型，与Artificial Analysis合作，独立验证方法。Pipette将设备上的行为作为评估标准，报告在服务器级、全精度条件下的模型卡片质量，这些数字很少能预测模型在手机上的表现。

AI模型 Liquid AI Pipette 基准测试

推荐理由：Liquid AI发布了Pipette，这是一个开源的基准测试套件，可以综合评估设备模型、量化、运行时和硬件，对于想要了解模型在边缘设备上表现的人来说是个好工具。

7月21日

11:26

11:26

官方账号arXiv cs.AI@Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

SelectInfer是一个神经元级优化框架，通过离线分析识别任务特定和通用神经元，实现选择性加载和动态计算。在多个数据集上评估，内存占用减少40%-60%，计算量降低30%-50%，同时保持任务性能。该方法无需重新训练或微调，适用于资源受限的边缘设备。

论文 SelectInfer LLM 边缘设备

推荐理由：这篇论文提出了一种在手机上跑大模型的新思路：不加载全部神经元，只算有用的部分。效果不错，内存和计算都省很多，关键是精度没掉。

5月22日

06:56

06:56

AI Engineer@aiDotEngineer

72°

TLMs 项目展示了如何在边缘设备上运行小型语言模型和智能体。其中 Function Gemma 模型仅有 2.7 亿参数，在 Pixel 7 上预填充速度接近每秒 2000 token，开箱即用对固定应用意图的准确率达 46%。通过合成数据集微调后，在十个函数中的八个上准确率超过 90%。Cormac 介绍了两种设备端 AI 路径：基于 Gemma 4 的技能框架（含全设备端运行的餐厅轮盘演示）和 Eloquent 转录应用（通过串联两个子十亿参数模型构建）。

AI模型 Tiny LLM 边缘设备 Function Gemma

推荐理由：边缘设备上跑 LLM 和智能体终于有了可落地的方案——2.7 亿参数的 Function Gemma 在手机上就能达到 90%+ 准确率，做移动端 AI 应用的开发者可以直接参考其微调路径和架构设计。