google-ai-edge/litert-torch
구글이 파이토치 모델을 스마트폰과 IoT 기기에서 바로 돌릴 수 있게 변환해주는 도구를 내놨다
litert-torch는 파이토치로 만든 모델을 구글의 온디바이스 실행 포맷인 .tflite로 바꿔주는 파이썬 라이브러리다. 파이토치의 torch.export() 기능을 기반으로 폭넓은 Core ATen 연산자를 지원하며, 현재는 CPU 위주로 동작하고 GPU와 NPU 지원은 초기 단계다. 대형 언어모델(LLM)을 위한 별도의 Generative API도 함께 제공해 모델 설계와 양자화까지 지원한다.
무엇을 하는 레포인가
- litert_torch.convert() 몇 줄로 resnet18 같은 파이토치 모델을 .tflite 파일로 변환할 수 있다
- 파이토치의 torch.export()로 모델 연산 그래프를 추적한 뒤 Core ATen 연산자 집합으로 매핑해 LiteRT 포맷으로 저장하는 방식이다
- 변환된 모델은 LiteRT의 컴파일드 모델 API를 통해 C++이나 Java로 안드로이드, iOS, IoT 기기에서 CPU·GPU·NPU 가속을 활용해 실행할 수 있다
- 별도의 Generative API는 트랜스포머·LLM 모델을 파이토치 안에서 직접 설계하고 양자화한 뒤 변환하고, 토크나이저와 함께 .litertlm 파일로 묶어 LiteRT-LM으로 배포할 수 있게 해준다
- 파이토치 변환기는 베타, Generative API는 알파 단계이며 Python 3.10~3.13, 리눅스, PyTorch 2.4.0 이상, tf-nightly가 필요하다
왜 중요한가
파이토치로 학습한 모델을 모바일·임베디드 기기에 배포하려는 개발자라면 다른 프레임워크로 모델을 다시 짤 필요 없이 그대로 변환할 수 있어 작업이 크게 줄어든다. 온디바이스 LLM 배포가 늘어나는 흐름에서 파이토치 생태계를 유지하면서 엣지 하드웨어 가속을 활용할 수 있다는 점이 특히 의미 있다.
이 레포의 용어
- LiteRT · 예전 이름 TensorFlow Lite를 잇는, 스마트폰 등 기기에서 AI 모델을 직접 실행하는 구글의 런타임
- .tflite · 기기에서 모델을 효율적으로 돌리기 위한 경량 파일 포맷
- torch.export() · 파이토치 모델의 연산 과정을 추출해 다른 포맷으로 변환할 수 있게 해주는 기능
- Core ATen 연산자 · 파이토치 모델을 이식하기 쉽게 쪼갠, 표준화된 기본 연산 집합
- NPU · 기기 안에서 AI 연산을 효율적으로 처리하도록 특화된 전용 칩
- LiteRT-LM · 변환·패키징된 대형 언어모델을 기기에서 실행하기 위한 동반 시스템
레포 원문 소개 (영문)
Support PyTorch model conversion with LiteRT.
GitHub에서 보기주목받는 레포
- vorssaint/vorssaint-utils메뉴바 아이콘 하나로 유료 맥 앱 열 개 값을 대신하는 오픈소스 도구
- Alishahryar1/free-claude-code코딩 AI 에이전트를 무료 모델 49곳에 자유롭게 연결해주는 로컬 프록시
- freestylefly/awesome-gpt-image-2GPT-Image2로 원하는 이미지를 정확히 뽑아내는 프롬프트 설계도 532개를 모아놓은 저장소
- block/buzz사람과 AI 에이전트가 같은 채팅방에서 함께 일하는 오픈소스 협업 플랫폼
- NousResearch/hermes-agentNous Research가 만든, 쓰면 쓸수록 스스로 똑똑해지는 AI 에이전트 Hermes
- virgiliojr94/book-to-skill기술서 PDF를 AI 에이전트가 언제든 펼쳐볼 수 있는 '스킬'로 바꿔주는 도구
- VoltAgent/awesome-agent-skillsAI 코딩 도구가 특정 작업을 '전문가처럼' 하도록 도와주는 매뉴얼 1000개 이상을 한곳에 모았다
- anthropics/claude-plugins-community누구나 만든 Claude 확장 기능을 한곳에 모아 설치하게 해주는 저장소