google-ai-edge/litert-samples

★ 391PythonApache-2.0

휴대폰·기기 안에서 AI 모델을 돌리는 구글의 실전 예제 모음집

이 저장소는 구글이 만든 온디바이스 머신러닝 프레임워크 LiteRT와 LLM 실행 계층 LiteRT-LM을 실제로 써보는 샘플 앱, 모델 변환 스크립트, 자동화 도구를 모아둔 곳이다. 음성인식, 이미지 생성, 텍스트음성변환(TTS) 같은 완성된 앱 예제와 함께, PyTorch나 Hugging Face 모델을 폰에서 돌아가는 형태로 바꾸는 파이프라인까지 제공한다. Python 기반이며 391개의 스타를 받았다.

무엇을 하는 레포인가

LiteRT(과거 이름 TensorFlow Lite)는 GPU·NPU 가속을 활용해 스마트폰 등 기기 안에서 직접 모델을 실행하는 프레임워크이고, LiteRT-LM은 그 위에서 거대언어모델(LLM)을 효율적으로 돌리기 위한 전담 계층이다
저장소는 samples(실행 가능한 앱), models(모델 변환 레시피), utilities(공통 도구), skills(자동화 에이전트 스킬) 네 영역으로 구성된다
최근에는 1500만 파라미터·32MB 크기의 초경량 스트리밍 TTS(KittenTTS nano), 음성인식(ASR), 이미지와 오디오를 함께 다루는 멀티모달 앱 PhotoTalk, Qwen3 기반 음성 모델, 텍스트→이미지 생성 모델 Bonsai Image 4B 등이 추가됐다
skills 폴더는 모델을 GPU 전용 형태로 변환하고, 정확도를 지키며 양자화(fp16/int8/int4로 압축)하고, 실제 기기에서 검증하고, 안드로이드 앱 뼈대까지 만들어주는 일련의 자동화 단계를 제공한다
Android, iOS, Python, 웹(WebAssembly/WebGPU) 등 여러 플랫폼에서 CompiledModel API와 예전 방식인 Interpreter API 두 가지 API로 예제를 실행해볼 수 있다

왜 중요한가

모델을 클라우드 서버가 아니라 사용자의 폰이나 기기 안에서 직접 돌리고 싶은 개발자에게, 변환부터 최적화·검증·앱 제작까지 전 과정을 따라 할 수 있는 실전 참고서 역할을 한다. 특히 최신 NPU/GPU를 활용한 음성·이미지·LLM 예제가 함께 있어 온디바이스 AI 앱을 빠르게 시작하는 데 도움이 된다.

이 레포의 용어

LiteRT · 구글의 온디바이스(기기 내) 머신러닝 실행 프레임워크, 과거 TensorFlow Lite
LiteRT-LM · LiteRT 위에서 거대언어모델을 효율적으로 실행하도록 만든 전용 계층
CompiledModel API · GPU/NPU 가속과 비동기 실행을 지원하는 최신 방식의 모델 실행 인터페이스
Interpreter API · 이전부터 쓰이던, 호환성이 넓은 구형 모델 실행 인터페이스
양자화(quantization) · 모델의 숫자 정밀도를 낮춰(fp16, int8, int4 등) 크기와 연산량을 줄이는 기법
NPU · 신경망 연산에 특화된 전용 하드웨어 가속 칩

레포 원문 소개 (영문)

LiteRT and LiteRT-LM sample apps, model recipes, agent skills and utilities.

소속 · google-deepmind

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

google-ai-edge/litert-samples

무엇을 하는 레포인가

왜 중요한가

이 레포의 용어

주목받는 레포

METAL MEDIA 최신 기사