microsoft/onnxruntime

★ 21,448오늘 +5C++

PyTorch나 TensorFlow로 만든 AI 모델을 어떤 기기에서든 빠르게 돌리게 해주는 마이크로소프트의 실행 엔진

onnxruntime은 다양한 딥러닝 프레임워크와 전통적인 머신러닝 라이브러리로 만든 모델을 여러 하드웨어와 운영체제에서 빠르게 실행시켜주는 도구다. 모델 구조를 최적화하고 하드웨어 가속 기능을 활용해 추론 속도를 높인다. 기존 PyTorch 학습 코드에 한 줄만 추가하면 여러 대의 GPU를 활용한 학습 가속도 지원한다.

무엇을 하는 레포인가

PyTorch, TensorFlow/Keras 같은 딥러닝 프레임워크뿐 아니라 scikit-learn, LightGBM, XGBoost 같은 전통 머신러닝 라이브러리 모델도 지원한다
모델을 실행할 때 그래프 구조를 최적화하고 각 하드웨어에 맞는 가속 기능을 자동으로 활용해 성능을 끌어올린다
여러 대의 엔비디아 GPU를 쓰는 트랜스포머 모델 학습을, 기존 PyTorch 학습 코드 한 줄 수정만으로 가속할 수 있다
다양한 하드웨어, 드라이버, 운영체제 환경에서 동일하게 동작하도록 설계됐다

왜 중요한가

AI 모델을 실제 서비스에 배포할 때는 학습할 때 쓴 프레임워크와 실제 운영 환경이 다른 경우가 많은데, onnxruntime은 이 간극을 메워 배포 비용과 응답 속도를 개선해준다. 21000개가 넘는 스타를 받을 만큼 실무에서 널리 쓰이는 인프라 도구라 AI 서비스를 만드는 개발자에게 실질적인 영향을 준다.

이 레포의 용어

ONNX · 여러 딥러닝 프레임워크에서 만든 모델을 공통 형식으로 표현하기 위한 개방형 포맷
추론(inference) · 학습이 끝난 모델에 새 데이터를 넣어 결과를 뽑아내는 과정
그래프 최적화 · 모델의 연산 순서와 구조를 바꿔 같은 결과를 더 빠르게 계산하도록 다듬는 작업
하드웨어 가속기 · GPU, NPU 등 특정 연산을 CPU보다 빠르게 처리하도록 만들어진 전용 장치

레포 원문 소개 (영문)

ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

소속 · microsoft-ai

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

microsoft/onnxruntime

무엇을 하는 레포인가

왜 중요한가

이 레포의 용어

주목받는 레포

METAL MEDIA 최신 기사