google-ai-edge/LiteRT

★ 3,268C++Apache-2.0

구글이 스마트폰·노트북 안에서 AI를 직접 돌리는 도구, TensorFlow Lite를 대체하다

LiteRT는 구글이 만든 온디바이스(기기 내부에서 직접 실행하는) AI 실행 엔진으로, 예전 이름은 TensorFlow Lite다. 휴대폰, 노트북, 웹브라우저 등 다양한 기기에서 CPU뿐 아니라 GPU와 NPU(신경망 전용 칩) 가속까지 활용해 이미지 인식부터 거대 언어모델(LLM) 실행까지 지원한다. PyTorch, TensorFlow, Jax로 만든 모델을 변환해 최적화한 뒤 C++, 코틀린, 자바스크립트 등 다양한 언어로 기기에서 실행할 수 있다.

무엇을 하는 레포인가

TensorFlow Lite의 후속작으로, 기존 인터프리터 방식 대신 새로운 Compiled Model API를 통해 가속기(GPU·NPU)를 자동으로 선택하고 비동기 실행을 지원한다.
LiteRT-LM으로 대형 언어모델을 기기에서 바로 돌릴 수 있고, LiteRT.js로 웹브라우저에서 WebGPU와 WASM을 이용한 클라이언트 실행도 가능하다.
안드로이드, iOS, 리눅스, 맥OS, 윈도우, 웹, IoT까지 폭넓은 플랫폼을 지원하며 브로드컴, 퀄컴, 미디어텍, 인텔 등 여러 제조사의 NPU를 하나의 API로 접근하게 해준다.
PyTorch 모델은 LiteRT Torch Converter로 변환하고, AI-Edge Quantizer로 모델을 가볍게 압축한 뒤 .tflite 또는 .litertlm 형식으로 배포하는 구조를 갖췄다.
공식 문서는 기존 tflite::Interpreter 같은 구식 방식 대신 새 Compiled Model API 사용을 권장하며, 옛 TensorFlow Lite 코드는 보안 업데이트만 받는 유지 모드로 전환됐다고 설명한다.

왜 중요한가

휴대폰이나 노트북에서 인터넷 연결 없이 AI 기능(음성인식, 이미지 분류, 챗봇 등)을 빠르고 안전하게 돌리려는 개발자에게 실질적인 실행 도구가 된다는 점에서 중요하다. 특히 다양한 제조사의 전용 AI 칩을 하나의 API로 다룰 수 있어 개발 복잡도를 크게 줄여준다.

이 레포의 용어

온디바이스 · 서버가 아닌 스마트폰·PC 등 기기 자체에서 연산을 처리하는 방식
NPU · 신경망 연산에 특화된 전용 칩, Neural Processing Unit
Compiled Model API · LiteRT가 새로 제공하는 실행 방식으로, 가속기 선택과 비동기 실행을 자동화한 인터페이스
LLM · 대규모 언어모델, 챗봇 등에 쓰이는 거대한 AI 모델
WASM · 웹브라우저에서 네이티브에 가까운 속도로 코드를 실행하게 해주는 WebAssembly 기술

레포 원문 소개 (영문)

LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-performance ML & GenAI deployment on edge platforms, via efficient conversion, runtime, and optimization

소속 · google-deepmind

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

google-ai-edge/LiteRT

무엇을 하는 레포인가

왜 중요한가

이 레포의 용어

주목받는 레포

METAL MEDIA 최신 기사