컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

AlexsJones/llmfit

★ 33,132이번 주 +1,545Rust

내 컴퓨터에서 어떤 AI 모델이 돌아가는지 명령어 하나로 알려준다

llmfit은 터미널에서 실행하는 도구로 내 컴퓨터의 램, CPU, GPU를 자동으로 확인한 뒤 수백 개의 언어 모델 중 실제로 잘 돌아갈 만한 것을 순위 매겨 보여준다. 명령어 하나만 치면 화면에 표 형태로 결과가 뜬다. 다운로드해서 직접 실행해보고, 실측한 속도를 공유해서 다른 사람들의 예측치를 더 정확하게 만드는 기능도 있다.

무엇을 하는 레포인가

  1. 수백 개의 AI 모델과 여러 실행 프로그램(Ollama, llama.cpp, MLX 등)을 지원한다
  2. 하드웨어의 램, CPU, GPU/VRAM을 감지해 각 모델을 품질, 속도, 적합도, 처리 가능한 문맥 길이 네 가지 기준으로 점수 매긴다
  3. 메모리 대역폭에 기반한 계산식과 실제 사용자들이 측정한 데이터를 함께 써서 속도를 추정한다
  4. 사용자가 자기 기기에서 실제 속도를 측정해 프로젝트에 결과를 보내면 다음 버전부터 같은 하드웨어를 가진 사람에게 검증된 숫자로 보여준다
  5. 여러 개의 GPU를 쓰는 환경과 일부 파라미터만 활성화하는 MoE(전문가 혼합) 구조 모델도 지원한다

왜 중요한가

로컬에서 AI 모델을 돌리려는 사람은 어떤 모델이 자기 컴퓨터 사양에 맞는지 일일이 시행착오로 알아내야 했는데, 이 도구는 그 과정을 자동화해 시간을 아껴준다. 실제 사용자 측정치가 쌓일수록 추정이 아닌 검증된 성능 정보로 바뀌어 커뮤니티 전체에 도움이 된다.

이 레포의 용어

  • TUI · 터미널 안에서 마우스나 키보드로 조작할 수 있는 화면 인터페이스
  • MoE(Mixture-of-Experts) · 전체 파라미터 중 일부만 골라 쓰는 신경망 구조로, 실행 시 필요한 메모리가 전체 크기보다 작다
  • VRAM · 그래픽카드(GPU)에 달린 전용 메모리
  • tok/s · 초당 처리하는 토큰(글자 조각) 수, AI 모델의 속도 단위
  • TTFT · 질문을 입력한 후 첫 답변 글자가 나오기까지 걸리는 시간

레포 원문 소개 (영문)

Hundreds of models & providers. One command to find what runs on your hardware.

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

METAL MEDIA 최신 기사