컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

google-ai-edge/mediapipe

★ 36,530C++Apache-2.0

얼굴, 손, 자세, 사물 인식 AI를 서버 없이 휴대폰이나 브라우저에서 바로 돌리는 구글의 도구 모음

MediaPipe는 얼굴, 손, 자세 추적 같은 온디바이스(기기 내) 머신러닝 기능을 휴대폰, 웹, 데스크톱, 엣지 기기에 구현하도록 구글이 공개한 오픈소스 도구 모음이다. 바로 쓸 수 있는 사전학습 모델과 함께, 자신의 데이터로 모델을 맞춤화하고 브라우저에서 결과를 확인할 수 있는 도구도 제공한다. 처리가 기기 안에서 끝나기 때문에 이미지나 영상 같은 입력 데이터를 서버로 보낼 필요가 없다.

무엇을 하는 레포인가

  1. MediaPipe Solutions는 사물 탐지, 텍스트 분류, 오디오 분류 같은 비전·텍스트·오디오 작업을 위한 완성형 AI 기능(Tasks, API 묶음)을 제공하며 Android, iOS, 웹, 데스크톱에 배포할 수 있다.
  2. MediaPipe Model Maker로 개발자가 자신의 데이터를 사용해 모델을 다시 학습시킬 수 있고, MediaPipe Studio로 브라우저에서 결과를 시각화하고 성능을 비교할 수 있다.
  3. 이런 완제품 솔루션 아래에는 더 저수준의 C++ 시스템인 MediaPipe Framework가 있는데, 데이터 단위인 Packets, 처리 구조인 Graphs, 처리 노드인 Calculators로 구성돼 실시간 머신러닝 파이프라인을 직접 만들 수 있다.
  4. 이미지, 영상, 텍스트 같은 입력 데이터는 구글 서버로 전송되지 않고 기기 안에서 처리되므로 민감한 데이터를 다루는 앱에서도 쓸 수 있지만, API 사용 성능에 관한 지표(메트릭)는 구글로 전송된다.
  5. 이 프로젝트는 구글 미트의 배경 효과, AR 아트 기능, 수어 인터페이스, 의수 제어 등 실제 제품에 쓰였으며 저장소는 3만 6530개의 스타를 받았다.

왜 중요한가

MediaPipe는 모델을 처음부터 만들거나 서버 통신에 의존하지 않고도 카메라·오디오 기반 실시간 AI 기능을 앱에 넣을 수 있는 검증된 무료 도구를 제공한다. 온디바이스 방식의 프라이버시 설계와 모바일·웹·데스크톱·엣지를 아우르는 범용성 덕분에, 인식 기능을 빠르게 출시해야 하는 팀에게 실용적인 기반이 된다.

이 레포의 용어

  • MediaPipe Tasks · 미리 만들어진 비전/텍스트/오디오 AI 기능을 앱에 바로 연결할 수 있는 API 묶음
  • MediaPipe Framework · Packets, Graphs, Calculators로 실시간 처리 파이프라인을 직접 만드는 저수준 C++ 시스템
  • 온디바이스 처리 · 이미지나 영상 같은 입력 데이터를 서버로 보내지 않고 기기 안에서 바로 처리하는 방식
  • Model Maker · 자신의 데이터로 기존 모델을 다시 학습시켜 맞춤화하는 도구
  • MediaPipe Studio · 브라우저에서 모델 결과를 시각화하고 성능을 비교 평가하는 도구

레포 원문 소개 (영문)

Cross-platform, customizable ML solutions for live and streaming media.

소속 · google-deepmind

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

METAL MEDIA 최신 기사