8美元ESP32-S3微控制器本地运行28.9M参数语言模型，速度9.5 tok/s

精选理由

8美元的ESP32-S3就能跑语言模型，速度9.5 tok/s，端侧AI门槛又降低了，值得关注。

AI 摘要

开发者成功在售价约8美元的ESP32-S3微控制器上本地运行了一个28.9M参数的语言模型。该模型无需连接服务器，生成速度约为9.5 tok/s。这展示了端侧AI成本的大幅降低，使得低功耗设备也能运行轻量级语言模型。

原文 · Yangyi

开发者在售价约 8 美元的 ESP32-S3 微控制器上完全本地运行了一个 28.9M 参数的语言模型，无需连接服务器，生成速度约 9.5 tok/s。端侧AI成本越来越低了 https://t.c...

开发者在售价约 8 美元的 ESP32-S3 微控制器上完全本地运行了一个 28.9M 参数的语言模型，无需连接服务器，生成速度约 9.5 tok/s。端侧AI成本越来越低了 github.com/slvDev/esp32-ai 💬 3 🔄 1 ❤️ 5 👀 940 📊 5 ⚡