컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

Irenezhangtt/AskingMe-Agent

★ 17Python

회사 사내규정 질문에 답하는 AI 비서, 정확도 높이려고 상황 봐가며 검색 강도를 조절한다

AskingMe Agent는 인사, 경비, 계정접근 같은 사내 정책 질문에 답하는 AI 시스템이다. 매번 무겁게 검색하지 않고 검색 결과가 애매할 때만 질의를 다시 쓰고 재정렬하는 방식으로 속도와 정확도를 함께 챙긴다. 인사, 경비, 접근권한, 일반 문의를 각각 담당하는 전문 에이전트가 나눠 맡고 복합 질문은 여러 에이전트가 동시에 처리한다.

무엇을 하는 레포인가

  1. FastAPI 백엔드, React 프런트엔드, Anthropic의 Claude 모델, 벡터 검색 데이터베이스인 ChromaDB, 메모리 저장소 Redis를 조합해 만들었다.
  2. 질문이 들어오면 먼저 빠르게 직접 검색하고, 검색 점수가 낮거나 애매할 때만 질의어를 다시 작성하고 LLM으로 순위를 재조정하는 적응형 검색을 쓴다.
  3. 경비, 인사, 접근권한, 일반 네 개 전문 에이전트로 나눠 질문을 라우팅하고, 여러 영역이 걸친 복합 질문은 병렬로 동시에 처리한다.
  4. PDF, 워드, 텍스트 등 다양한 형식의 정책 문서를 업로드, 중복 검사, 승인, 버전 교체, 폐기까지 관리하는 문서 생명주기 기능을 갖췄다.
  5. 자체 평가에서 순수 LLM 답변 대비 근거 기반 정확도가 61.5%에서 86.5%로, 환각 비율은 24.0%에서 5.0%로 개선됐다고 보고했다.

왜 중요한가

사내 규정처럼 자주 바뀌고 부서마다 흩어진 문서를 다루는 조직에게, 매번 전체 파이프라인을 돌리지 않고 필요할 때만 정밀 검색을 켜는 설계는 응답 속도와 비용을 함께 관리하는 참고 사례가 된다. 민감한 예외 상황은 AI가 결정하지 않고 사람 검토로 넘기는 안전장치도 실무 도입 시 눈여겨볼 부분이다.

이 레포의 용어

  • RAG · 질문에 답하기 전에 관련 문서를 검색해 근거로 삼는 방식
  • ChromaDB · 문서를 벡터로 바꿔 유사도 검색을 하는 데이터베이스
  • 임베딩 · 텍스트를 숫자 벡터로 변환해 의미 유사도를 계산할 수 있게 만든 것
  • 환각(hallucination) · AI가 근거 없이 그럴듯한 거짓 답을 만들어내는 현상
  • 리랭킹 · 1차로 찾은 검색 결과들을 다시 정확도 순으로 재정렬하는 작업

레포 원문 소개 (영문)

LLM-powered enterprise AI agent with adaptive RAG and multi-agent orchestration for company internal policy Q&A.

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

METAL MEDIA 최신 기사