google-ai-edge/litert-torch
谷歌推出工具,把PyTorch模型直接转换后运行在手机和物联网设备上
litert-torch是谷歌推出的一个Python库,能把PyTorch模型转换成谷歌端侧运行格式.tflite。它基于PyTorch的torch.export()功能,支持大范围的Core ATen算子,目前主要面向CPU运行,GPU和NPU支持尚处早期阶段。项目还附带一个独立的Generative API,用于设计和量化面向大语言模型(LLM)的Transformer模型。
它做什么
- 只需几行代码,用litert_torch.convert()就能把像resnet18这样的PyTorch模型转换成.tflite文件
- 转换原理是用PyTorch的torch.export()追踪模型的计算图,再映射到Core ATen算子集合,最后序列化成LiteRT的文件格式
- 转换后的模型可以通过LiteRT的编译模型API,用C++或Java在Android、iOS和物联网设备上运行,并利用CPU、GPU或NPU加速
- 独立的Generative API让开发者可以直接在PyTorch里设计和量化Transformer/LLM模型,转换后连同分词器一起打包成.litertlm文件,通过LiteRT-LM部署
- PyTorch转换器标注为Beta阶段,Generative API标注为Alpha阶段,需要Python 3.10到3.13、Linux系统、PyTorch 2.4.0以上版本以及tf-nightly
为什么重要
对于想把PyTorch训练的模型部署到移动端或嵌入式设备的开发者来说,这省去了用其他框架重写模型的麻烦。随着端侧大语言模型部署越来越普遍,这让团队可以留在PyTorch生态里,同时用上边缘硬件的加速能力。
本仓库术语
- LiteRT · 谷歌用于在手机等设备上直接运行AI模型的运行时,是原TensorFlow Lite的延续
- .tflite · 一种紧凑的文件格式,便于模型在设备端高效运行
- torch.export() · PyTorch中用于捕获模型计算图、以便转换成其他格式的功能
- Core ATen算子 · 为便于模型移植而定义的一套标准化基础运算集合
- NPU · 专门用于在设备端高效执行AI运算的芯片
- LiteRT-LM · 用于运行经过转换打包后的大语言模型的配套系统
仓库简介（英文）
Support PyTorch model conversion with LiteRT.
在 GitHub 打开热门仓库
- vorssaint/vorssaint-utils一个免费菜单栏应用,顶替十几款付费Mac工具
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台
- NousResearch/hermes-agentNous Research推出的Hermes是一款越用越聪明的AI智能体
- virgiliojr94/book-to-skill把技术类书籍PDF变成AI编程助手随时可查阅的技能包
- VoltAgent/awesome-agent-skills把上千份让AI编程助手秒变专家的操作手册集中放在一个地方
- anthropics/claude-plugins-community一个把大家做的Claude插件集中起来供安装的仓库