06:02
AI Engineer@aiDotEngineer
AI Engineer@aiDotEngineer精选
推荐理由：Google工程师讲透了边缘AI的内存瓶颈，用小模型做智能体实际可行，还给了离线语音应用的真实案例。
Raspberry Pi
共 1 条相关 AI 资讯
7月26日
06:02
Google AI Edge团队指出边缘AI的真正瓶颈是RAM而非算力，且手机厂商今年缩减RAM、6GB树莓派涨价2.5倍。2B参数的Gemma经2.9-bit量化后可在树莓派上达到约8 tokens/秒，在高通NPU上足以处理几帧视觉。更小的500M至50M参数模型能覆盖老旧设备，通常需微调而非提示。微调后的Gemma在10个动作中实现超86%的函数调用准确率，配合语音模型可完成语音到函数调用。已有一款离线语音听写应用投产，基于两个sub-billion Gemma模型，无需订阅且能去除口头禅。