cookyman74/llmwiki-harness

★ 28PythonMIT

Obsidian 노트 폴더를 LLM이 스스로 정리하고 잊어버리기까지 하는 '살아있는 위키'로 바꾸는 도구

llmwiki-harness는 Obsidian 볼트에 Claude Code용 에이전트·스킬·스크립트 세트를 심어, 사람이 자료(raw)만 넣으면 LLM이 요약·교차참조·모순표시·정리를 대신 하게 만드는 하네스다. 단순 RAG처럼 질문마다 처음부터 검색하는 대신, 정보를 작업기억→일화기억→의미기억→절차기억 4단계로 승격시켜 위키 자체가 누적되는 지식베이스가 되게 한다. 최신 버전(v2.1)은 인제스트를 가볍게 하고 무거운 병합·판단은 점검(lint) 시점에 몰아서 처리해 비용과 지연을 크게 줄였다.

무엇을 하는 레포인가

새 문서를 raw 폴더에 넣고 '인제스트해줘'라고 말하면 LLM이 읽어서 요약본(L2)과 새 개념 초안(L3)만 가볍게 만들고, 기존 자료와의 병합·신뢰도 계산·관계 정리는 나중에 한꺼번에(lint 배치) 처리한다.
사람 기억을 본떠 정보를 4단계(세션 메모→세션 요약→사실/개념→반복 절차)로 나누고, 같은 주장이 3번 이상 나오면 '사실'로, 같은 절차가 2번 이상 관찰되면 '절차 매뉴얼'로 자동 승격시킨다.
정보마다 소스 개수와 종류(공식 문서냐 구두 정보냐)로 0~1 사이 신뢰도 점수를 매기고, 오래 확인 안 된 정보는 에빙하우스 망각곡선처럼 신뢰도가 지수적으로 낮아져 '점검 필요' 표시가 뜬다(삭제는 안 함).
질문에 답할 때마다 위키 전체를 다시 훑지 않도록, 키워드로 후보를 찾고 관련 링크를 한 단계만 더 따라가는 방식으로 검색 범위를 좁혀 토큰 사용량을 실측 기준 사실 확인형 질문에서 약 55% 줄였다.
작업을 소환하는 대신 인제스트처럼 반복적인 작업은 값싼 모델(sonnet), 판단이 필요한 종합·점검 작업은 고성능 모델(opus)로 나눠 호출해 문서당 실질 비용을 약 4.6배, 응답 지연을 약 3배 줄였다고 측정치를 밝혔다.

왜 중요한가

문서를 계속 쌓기만 하고 정리는 안 되는 노트 앱의 고질적 문제를 LLM이 '유지보수 담당자' 역할을 맡아 해결하려는 시도로, 개인 지식관리·회의록 정리·팀 위키 운영에 그대로 적용해볼 수 있는 실행 가능한 오픈소스 틀을 제공한다는 점에서 의미가 있다.

이 레포의 용어

RAG · 질문할 때마다 문서에서 관련 조각을 검색해 답을 만드는 방식으로, 검색 결과가 쌓여 재사용되지 않는다는 한계가 있음
Frontmatter · 마크다운 파일 맨 위에 넣는 제목·태그·신뢰도 같은 메타데이터 블록
에빙하우스 망각곡선 · 시간이 지날수록 기억(정보 신뢰도)이 지수적으로 줄어든다는 이론을 정보 보존율 계산에 적용한 것
신뢰도(Confidence) · 어떤 주장이 몇 개의 소스에서, 어떤 종류의 소스로 확인됐는지를 바탕으로 매긴 0~1 사이 점수
Supersession(대체 표시) · 새 정보가 옛 정보와 다를 때 삭제 대신 '옛 정보는 낡음'이라 표시하고 새 페이지로 연결해 변경 이력을 남기는 방식

레포 원문 소개 (영문)

cookyman74/llmwiki-harness

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

cookyman74/llmwiki-harness

무엇을 하는 레포인가

왜 중요한가

이 레포의 용어

주목받는 레포

METAL MEDIA 최신 기사