google-ai-edge/LiteRT

★ 3,268C++Apache-2.0

谷歌把AI直接搬进手机和电脑里跑,TensorFlow Lite的继任者登场

LiteRT是谷歌推出的端侧机器学习运行时,前身是TensorFlow Lite。它让手机、笔记本电脑、浏览器等设备能在本地运行图像分类到大语言模型等各种AI任务,并利用CPU、GPU以及NPU(专用AI芯片)进行加速。用PyTorch、TensorFlow或Jax训练的模型经过转换优化后,可以通过C++、Kotlin、JavaScript等多种语言在设备上部署运行。

它做什么

作为TensorFlow Lite的继任者,LiteRT推出全新的Compiled Model API,能自动选择合适的加速器(GPU/NPU)并支持真正的异步执行,取代旧有的解释器方式。
LiteRT-LM可以让大语言模型直接在设备端运行,LiteRT.js则通过WebGPU和WASM技术让浏览器实现安全的客户端AI推理。
支持安卓、iOS、Linux、macOS、Windows、Web和物联网等多种平台,并通过统一API接入博通、高通、联发科、英特尔等多家厂商的NPU芯片。
整个流程可将PyTorch模型通过LiteRT Torch Converter转换,再用AI-Edge Quantizer压缩优化,最终以.tflite或.litertlm格式部署。
官方建议开发者改用新的Compiled Model API,不再使用旧版tflite::Interpreter,并说明经典TensorFlow Lite代码现已进入维护模式,仅接收安全和稳定性更新。

为什么重要

对于希望在不依赖云端的情况下,在设备上快速安全运行语音识别、图像分类、聊天机器人等AI功能的开发者来说,这是一套实用的落地工具。统一多家芯片厂商的NPU接口,也大幅降低了开发的复杂度。

本仓库术语

端侧(on-device) · 直接在手机、电脑等设备本地进行计算,而非依赖远程服务器
NPU · 神经网络处理单元,专门用于加速神经网络运算的芯片
Compiled Model API · LiteRT提供的新执行接口,自动完成加速器选择和异步执行
LLM · 大语言模型,聊天机器人等系统中使用的超大规模AI模型
WASM · WebAssembly技术,让浏览器能以接近原生的速度运行代码

仓库简介（英文）

LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-performance ML & GenAI deployment on edge platforms, via efficient conversion, runtime, and optimization

所属 · google-deepmind

在 GitHub 打开

google-ai-edge/LiteRT

它做什么

为什么重要

本仓库术语

热门仓库

METAL MEDIA 最新报道