scenepilotLLM/sparkfetch
웹페이지를 통째로 긁어와 AI가 읽기 좋은 markdown/JSON으로 바꿔주는 오픈소스 API
SparkFetch는 아무 URL이나 던지면 광고와 메뉴 같은 잡다한 요소를 걷어내고 깔끔한 Markdown, 구조화된 JSON, 텍스트로 바꿔주는 자체 호스팅 가능한 API이다. 단일 페이지 스크랩, 사이트 전체를 깊이별로 순회하는 크롤링, 도메인 내 모든 URL을 찾아내는 맵 기능을 제공한다. Node.js 24와 Express 5 기반 TypeScript 프로젝트로 만들어졌다.
무엇을 하는 레포인가
- 단일 URL을 요청하면 제목, 설명, 링크, 본문을 담은 Markdown과 메타데이터를 JSON으로 돌려주는 스크랩 기능을 제공한다
- 깊이(depth)와 최대 페이지 수를 지정해 웹사이트 전체를 재귀적으로 순회하며 콘텐츠를 추출하는 크롤 기능을 작업(job) 단위로 처리한다
- 도메인의 모든 URL 목록을 즉시 찾아주는 맵 기능과, nav·footer 같은 불필요한 태그를 자동으로 걸러내는 정제 기능을 갖췄다
- API 명세는 OpenAPI 3.1로 정의하고 Zod로 검증하며, Drizzle ORM으로 데이터베이스를 다루는 구조로 되어 있다
- MIT 라이선스로 공개되어 있고 pnpm과 Node.js 18 이상 환경에서 직접 설치해 운영할 수 있다
왜 중요한가
LLM에 웹 문서를 넣어 답변 근거로 쓰는 RAG 파이프라인이나 리서치 자동화 도구를 만들 때, 지저분한 HTML을 직접 파싱하는 대신 이 API 하나로 깨끗한 텍스트를 바로 받을 수 있다. 상용 서비스 없이 직접 서버를 띄워 운영할 수 있어 데이터 처리 비용과 통제권을 스스로 가져갈 수 있다.
이 레포의 용어
- Markdown · 제목·목록 등을 간단한 기호로 표시하는 문서 형식, LLM이 읽기 쉬움
- RAG 파이프라인 · 외부 문서를 검색해 LLM 답변의 근거로 활용하는 시스템 구조
- 크롤링 · 링크를 따라가며 웹사이트 여러 페이지를 자동으로 방문해 수집하는 작업
- OpenAPI 3.1 · API의 요청·응답 형식을 정의하는 표준 명세 포맷
- Zod · TypeScript에서 입력값의 형식이 맞는지 검사하는 라이브러리
레포 원문 소개 (영문)
🔥 Turn any URL into clean, structured, LLM-ready content. The open-source web fetching & extraction API.
GitHub에서 보기주목받는 레포
- vorssaint/vorssaint-utils메뉴바 아이콘 하나로 유료 맥 앱 열 개 값을 대신하는 오픈소스 도구
- Alishahryar1/free-claude-code코딩 AI 에이전트를 무료 모델 49곳에 자유롭게 연결해주는 로컬 프록시
- freestylefly/awesome-gpt-image-2GPT-Image2로 원하는 이미지를 정확히 뽑아내는 프롬프트 설계도 532개를 모아놓은 저장소
- block/buzz사람과 AI 에이전트가 같은 채팅방에서 함께 일하는 오픈소스 협업 플랫폼
- NousResearch/hermes-agentNous Research가 만든, 쓰면 쓸수록 스스로 똑똑해지는 AI 에이전트 Hermes
- virgiliojr94/book-to-skill기술서 PDF를 AI 에이전트가 언제든 펼쳐볼 수 있는 '스킬'로 바꿔주는 도구
- VoltAgent/awesome-agent-skillsAI 코딩 도구가 특정 작업을 '전문가처럼' 하도록 도와주는 매뉴얼 1000개 이상을 한곳에 모았다
- anthropics/claude-plugins-community누구나 만든 Claude 확장 기능을 한곳에 모아 설치하게 해주는 저장소