ice-only/localai-rag-live2d

★ 21PythonMIT

내 컴퓨터 안에서만 돌아가는 AI 챗봇에 라이브2D 캐릭터를 얹고, 내가 넣은 문서를 기억하게 만든 오픈소스

이 프로젝트는 클라우드에 데이터를 보내지 않고 로컬에서만 돌아가는 경량 언어모델과 문서 검색 기능, 라이브2D 캐릭터를 합쳐 데스크톱 AI 비서를 만든다. 사용자가 docs 폴더에 텍스트, 마크다운, PDF 파일을 넣으면 자동으로 색인되어 답변에 활용되고, 대화 내용은 기록으로 남아 이어서 대화할 수 있다. 데스크톱 앱뿐 아니라 QQ 메신저 연동도 지원한다.

무엇을 하는 레포인가

Qwen3.5-4B라는 언어모델을 용량을 줄인(양자화) 형태로 llama.cpp를 통해 로컬에서 구동하며, GPU 가속(Vulkan) 또는 CPU만으로도 실행 가능해 인터넷 연결이나 클라우드 API 없이 대화가 이루어진다
RAG(검색 증강 생성) 방식을 구현해, docs 폴더에 넣은 문서를 중국어 임베딩 모델(BAAI/bge-small-zh-v1.5)과 ChromaDB 벡터 데이터베이스로 자동 색인하고, 답변 전에 관련 내용을 찾아 참고한다
PyQt5와 웹 렌더링 컴포넌트로 만든 투명하고 테두리 없는 창에 드래그 가능한 라이브2D 애니메이션 캐릭터를 표시해 챗봇에 시각적 캐릭터성을 부여한다
대화 기록을 사용자와 채널별로 구분한 JSON 파일로 저장하고, 토큰 예산에 따라 오래된 대화를 자동으로 잘라내 문맥 초과를 방지한다
어댑터 패턴을 사용해 데스크톱 모드와 OneBot v11 프로토콜 기반 QQ 메신저 연동 등 여러 플랫폼을 지원한다

왜 중요한가

클라우드 AI 서비스에 의존하지 않고 개인 문서를 외부에 노출하지 않으면서 커스텀 캐릭터를 가진 사적인 AI 비서를 만들고 싶은 사람에게 실용적인 참고 사례가 된다. UI, 모델, 기억, RAG, 어댑터로 나뉜 구조라 자신만의 채팅 플랫폼이나 지식 베이스를 추가하는 데도 재사용하기 좋다.

이 레포의 용어

RAG · 모델이 답하기 전에 관련 문서를 검색해서 참고하는 방식(검색 증강 생성)
GGUF · 용량을 줄인(양자화) 로컬 실행용 모델 파일 형식
임베딩 · 텍스트를 의미 기반 숫자 벡터로 바꿔 검색에 쓰는 기술
ChromaDB · 임베딩 벡터를 저장하고 유사도 검색을 해주는 벡터 데이터베이스
Live2D · 2D 그림을 부드럽게 움직이게 만드는 애니메이션 캐릭터 렌더링 기술

레포 원문 소개 (영문)

一个本地ai聊天模型localaiAgentWithRAG，让你的本地数据不上传云端，可以自己加入所需要的记忆文件等等，修改角色形象，记忆对话，记忆库允许自己导入或者对话后自动记录

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

ice-only/localai-rag-live2d

무엇을 하는 레포인가

왜 중요한가

이 레포의 용어

주목받는 레포

METAL MEDIA 최신 기사