google-ai-edge/litert-samples
谷歌整理的一套在手机等设备本地运行AI模型的实战范例
这个仓库汇集了围绕LiteRT（谷歌的端侧机器学习框架）和LiteRT-LM（用于高效运行大语言模型的专用层）的示例应用、模型转换脚本和自动化工具。里面既有语音识别、图像生成、流式语音合成等可直接运行的完整应用，也有把PyTorch或Hugging Face模型转换成可在设备上运行格式的完整流程。项目主要用Python编写，已获391颗星。
它做什么
- LiteRT（前身为TensorFlow Lite）能利用GPU/NPU硬件加速，让机器学习模型直接在手机等设备本地运行；LiteRT-LM是构建在其上、专门用于高效运行大语言模型（LLM）的一层
- 仓库分为四个部分：samples（可运行的示例应用）、models（模型转换配方）、utilities（共享工具）、skills（自动化代理技能）
- 最近新增的内容包括参数量仅1500万、体积32MB的超轻量流式语音合成应用KittenTTS nano、端到端语音识别（ASR）示例、结合视觉与音频/文本生成的多模态应用PhotoTalk、基于Qwen3的语音模型，以及文本生成图像的扩散模型Bonsai Image 4B
- skills文件夹提供了一套完整流程：把模型转换成适合GPU运行的形式、在不损失精度的前提下进行量化压缩（fp16/int8/int4）、在真实设备上验证效果，并搭建出对应的Android应用骨架
- 示例覆盖Android、iOS、Python和网页（WebAssembly）等多个平台，可以选用较新的CompiledModel API或历史悠久的Interpreter API来运行
为什么重要
对于想让模型在用户手机等设备本地运行、而不是依赖云端服务器的开发者来说，这个仓库提供了从转换、优化、验证到搭建应用的完整实战参考。其中现成的语音、图像和大语言模型示例都用到了最新的NPU/GPU加速，能帮助开发者更快上手端侧AI应用开发。
本仓库术语
- LiteRT · 谷歌的端侧（设备本地）机器学习运行框架，前身是TensorFlow Lite
- LiteRT-LM · 构建在LiteRT之上、用于高效运行大语言模型的专用层
- CompiledModel API · 支持GPU/NPU加速与异步执行的新型模型运行接口
- Interpreter API · 兼容性广泛的旧版模型运行接口
- 量化（Quantization） · 降低模型数值精度（如fp16、int8、int4）以缩小体积、减少计算量的技术
- NPU · 专门用于加速神经网络运算的硬件芯片
仓库简介（英文）
LiteRT and LiteRT-LM sample apps, model recipes, agent skills and utilities.
在 GitHub 打开热门仓库
- vorssaint/vorssaint-utils一个免费菜单栏应用,顶替十几款付费Mac工具
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台
- NousResearch/hermes-agentNous Research推出的Hermes是一款越用越聪明的AI智能体
- virgiliojr94/book-to-skill把技术类书籍PDF变成AI编程助手随时可查阅的技能包
- VoltAgent/awesome-agent-skills把上千份让AI编程助手秒变专家的操作手册集中放在一个地方
- anthropics/claude-plugins-community一个把大家做的Claude插件集中起来供安装的仓库