谷歌发布LiteRT.js,Web AI推理速度提升3倍

谷歌发布 LiteRT.js 库,Web AI 推理最高提速 3 倍

精选理由

谷歌出了个LiteRT.js,用WebAssembly让浏览器跑AI比TensorFlow.js快3倍,尤其在M4 MacBook上效果明显。

AI 摘要

谷歌推出LiteRT.js库,基于WebAssembly并利用WebGPU与WebNN硬件加速。该库旨在替代TensorFlow.js的JavaScript内核方案。在搭载M4芯片的2024款MacBook Pro上,LiteRT.js推理速度较现有方案提升3倍。谷歌表示在旧硬件或不同引擎浏览器上性能可能存在差异。

原文 · IT之家

谷歌发布 LiteRT.js 库,Web AI 推理最高提速 3 倍

IT之家 7 月 10 日消息,谷歌昨日(7 月 9 日)发布博文,为提升浏览器人工智能(AI)及机器学习(ML)工作负载的运行速度, 推出全新的 LiteRT.js 库。 谷歌表示 LiteRT.js 采用 WebAssembly,并结合 WebGPU 与 WebNN 等硬件加速能力,用于替代 TensorFlow.js 所使用的 JavaScript 内核方案。IT之家附上相关截图如下: LiteRT.js 架构概述 WebAssembly 是一种二进制指令格式,支持网页在浏览器中以接近本地代码的速度执行高性能计算。 TensorFlow.js 是由谷歌开发的库,支持用户在 JavaScript 环境中构建、训练和部署机器学习模型。它允许开发者将基于 TensorFlow 构建的模型直接部署到 Web 浏览器中,实现客户端的 AI 功能。 在搭载 M4 芯片的 2024 款苹果 MacBook Pro 笔记本上,谷歌测试发现相比较现有方案, LiteRT.js 速度提升 3 倍。谷歌在官方博文中表示,在运行旧硬件或使用不同引擎的浏览器时,实际性能可能存在差异。