컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

hardrave/NIGHTRUN

★ 202Rust

운영체제 없이 USB로 부팅하면 바로 채팅창이 뜨는 오프라인 AI 컴퓨터

NIGHTRUN은 러스트로 만든 프로그램으로, 윈도우나 리눅스 같은 운영체제 없이 컴퓨터 펌웨어에서 곧바로 실행되어 부팅하자마자 오프라인 AI 챗봇 화면이 뜬다. 압축된 AI 모델 파일을 통째로 램에 올리면서 손상 여부를 검사하고, 다 올리고 나면 디스크 접근 자체를 막아버려서 이후에는 저장장치를 건드릴 수 없게 만든다. 답변의 정확성은 유명한 LLM 실행 엔진인 llama.cpp와 토큰 단위로 똑같이 나오는지 비교해서 검증한다.

무엇을 하는 레포인가

  1. 운영체제 없이 UEFI라는 부팅 펌웨어 위에서 직접 돌아가는 단일 프로그램으로, 화면 출력과 USB 키보드 입력, 여러 CPU 코어를 이용한 AI 연산까지 전부 자체 구현했다.
  2. 라마 3.2, 큐원3, 그래니트 4.1 세 가지 모델 계열을 지원하며 용량은 1.3~2.4기가바이트, Q8_0·Q4_K·Q6_K라는 압축 방식(양자화)으로 크기를 줄이고 CPU 종류에 맞춘 전용 고속 연산 코드(AVX2, NEON)로 처리한다.
  3. 답변이 정확한지 확인하려고 널리 쓰이는 LLM 엔진인 llama.cpp의 출력과 토큰 하나하나까지 비교하고, 텍스트를 쪼개는 방식(토크나이저)도 허깅페이스 공식 구현과 맞춰 테스트한다.
  4. 설치 프로그램은 컴퓨터의 시스템 디스크는 아예 선택지에서 빼고, USB나 SD카드에 기록하기 전 장치 경로를 정확히 입력해야 진행되며, 기록 후에는 다시 읽어서 원본과 완전히 같은지 확인한다.
  5. 8코어 가상머신(QEMU/KVM) 기준 라마 3.2 1B 모델은 프롬프트 처리 속도 초당 52~56토큰, 답변 생성 속도 초당 20토큰이며 부팅부터 채팅까지 5.6초 걸린다. 반면 실제 라즈베리파이 5에서 더 큰 3B 모델을 돌리면 아직 초당 3.0토큰으로 훨씬 느리다.

왜 중요한가

운영체제라는 두꺼운 층 없이 하드웨어 바로 위에서 AI가 돌아가는 실제 작동 사례를 보여줘서, 오프라인이면서 조작이 어려운 초경량 AI 기기에 관심 있는 사람들에게 참고가 된다. 또한 일반적인 웹앱이 아니라 부팅 프로그램, 파일 포맷, 저수준 연산까지 아우르는 시스템 소프트웨어를 AI 코딩 도구로 얼마나 만들 수 있는지 보여주는 실험이기도 하다.

이 레포의 용어

  • UEFI · 운영체제가 뜨기 전에 컴퓨터를 처음 시작시키는 펌웨어
  • no_std · 완전한 운영체제 표준 기능 없이 작동하도록 짠 러스트 코드
  • GGUF · 압축된 LLM 모델 가중치를 저장하는 흔한 파일 형식
  • 양자화(Q8_0, Q4_K, Q6_K) · 모델 숫자를 더 적은 비트로 줄여 메모리와 속도를 아끼는 대신 정확도를 약간 희생하는 기법
  • KV 캐시 · 모델이 이전에 계산한 값을 저장해서 매 단어마다 다시 계산하지 않게 해주는 메모리

레포 원문 소개 (영문)

Boot your PC straight into an LLM. Rust, UEFI-resident, no operating system underneath.

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

METAL MEDIA 최신 기사