AITOP

Google AI Edge

共 2 条相关 AI 资讯
7月26日
06:02
06:02AI Engineer@aiDotEngineer
精选
Google AI Edge团队指出边缘AI的真正瓶颈是RAM而非算力，且手机厂商今年缩减RAM、6GB树莓派涨价2.5倍。2B参数的Gemma经2.9-bit量化后可在树莓派上达到约8 tokens/秒，在高通NPU上足以处理几帧视觉。更小的500M至50M参数模型能覆盖老旧设备，通常需微调而非提示。微调后的Gemma在10个动作中实现超86%的函数调用准确率，配合语音模型可完成语音到函数调用。已有一款离线语音听写应用投产，基于两个sub-billion Gemma模型，无需订阅且能去除口头禅。
AI模型GemmaGoogle AI EdgeRaspberry Pi
推荐理由：Google工程师讲透了边缘AI的内存瓶颈，用小模型做智能体实际可行，还给了离线语音应用的真实案例。
原文
6月4日
08:25
08:25berryxia@berryxia
78°
Google 将 Gemma 4 12B 模型与 AI Edge 工具链深度整合，开发者可在笔记本上完全本地运行 Agentic 工作流。Mac 用户可通过 AI Edge Gallery 生成代码，AI Edge Eloquent 支持语音输入实时编辑文本。底层使用 LiteRT-LM 推理引擎，实现零网络、零延迟、数据全在本地。这标志着端侧 AI 从实验走向实用，让普通开发者能拥有私有的、可连续执行的本地 AI 队友。
AI产品端侧模型Agentic 工作流Gemma 4
事件专题
推荐理由：Google 把模型、推理引擎和开发工具链打包成一套方案，做端侧 AI 或隐私敏感应用的开发者可以直接在笔记本上跑 Agentic 工作流，建议试试 AI Edge Gallery 的代码生成功能。
原文