google-ai-edge/LiteRT
谷歌把AI直接搬进手机和电脑里跑,TensorFlow Lite的继任者登场
LiteRT是谷歌推出的端侧机器学习运行时,前身是TensorFlow Lite。它让手机、笔记本电脑、浏览器等设备能在本地运行图像分类到大语言模型等各种AI任务,并利用CPU、GPU以及NPU(专用AI芯片)进行加速。用PyTorch、TensorFlow或Jax训练的模型经过转换优化后,可以通过C++、Kotlin、JavaScript等多种语言在设备上部署运行。
它做什么
- 作为TensorFlow Lite的继任者,LiteRT推出全新的Compiled Model API,能自动选择合适的加速器(GPU/NPU)并支持真正的异步执行,取代旧有的解释器方式。
- LiteRT-LM可以让大语言模型直接在设备端运行,LiteRT.js则通过WebGPU和WASM技术让浏览器实现安全的客户端AI推理。
- 支持安卓、iOS、Linux、macOS、Windows、Web和物联网等多种平台,并通过统一API接入博通、高通、联发科、英特尔等多家厂商的NPU芯片。
- 整个流程可将PyTorch模型通过LiteRT Torch Converter转换,再用AI-Edge Quantizer压缩优化,最终以.tflite或.litertlm格式部署。
- 官方建议开发者改用新的Compiled Model API,不再使用旧版tflite::Interpreter,并说明经典TensorFlow Lite代码现已进入维护模式,仅接收安全和稳定性更新。
为什么重要
对于希望在不依赖云端的情况下,在设备上快速安全运行语音识别、图像分类、聊天机器人等AI功能的开发者来说,这是一套实用的落地工具。统一多家芯片厂商的NPU接口,也大幅降低了开发的复杂度。
本仓库术语
仓库简介（英文）
LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-performance ML & GenAI deployment on edge platforms, via efficient conversion, runtime, and optimization
在 GitHub 打开热门仓库
- vorssaint/vorssaint-utils一个免费菜单栏应用,顶替十几款付费Mac工具
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台
- NousResearch/hermes-agentNous Research推出的Hermes是一款越用越聪明的AI智能体
- virgiliojr94/book-to-skill把技术类书籍PDF变成AI编程助手随时可查阅的技能包
- VoltAgent/awesome-agent-skills把上千份让AI编程助手秒变专家的操作手册集中放在一个地方
- anthropics/claude-plugins-community一个把大家做的Claude插件集中起来供安装的仓库