8美元ESP32-S3微控制器本地运行28.9M参数语言模型，速度9.5 tok/s

开发者成功在售价约8美元的ESP32-S3微控制器上本地运行了一个28.9M参数的语言模型。该模型无需连接服务器，生成速度约为9.5 tok/s。这展示了端侧AI成本的大幅降低，使得低功耗设备也能运行轻量级语言模型。