Sparkfetch/sparkfetch
웹페이지를 지저분한 HTML 대신 AI가 바로 읽을 수 있는 깔끔한 텍스트로 바꿔주는 오픈소스 API
SparkFetch는 URL 하나만 넣으면 광고와 메뉴 같은 군더더기를 걷어내고 마크다운이나 JSON 같은 깔끔한 형식으로 웹 콘텐츠를 뽑아주는 API다. 페이지 하나를 긁는 것뿐 아니라 사이트 전체를 정해진 깊이만큼 자동으로 돌아다니며 수집하거나, 도메인 안의 모든 링크 목록만 빠르게 뽑아내는 기능도 있다. Node.js와 Express로 만들어졌고 직접 서버를 설치해 운영할 수 있는 오픈소스다.
무엇을 하는 레포인가
- 웹페이지의 HTML을 그대로 주지 않고 광고·내비게이션 같은 불필요한 부분을 걷어낸 뒤 마크다운, 일반 텍스트, JSON 형태로 정리해 돌려준다
- scrape는 페이지 한 장만, crawl은 링크를 따라가며 여러 페이지를 한꺼번에, map은 사이트 안의 URL 목록만 빠르게 뽑아준다
- 결과에는 본문 내용뿐 아니라 제목, 설명, 상태 코드 같은 부가 정보도 함께 담겨 나온다
- TypeScript로 작성됐고 Node.js 24와 Express 5 위에서 동작하며, 누구나 직접 내려받아 자기 서버에 설치해 쓸 수 있다
왜 중요한가
AI 챗봇이나 검색 도구에 최신 웹 정보를 넣어주려면 사람이 보는 화면 그대로가 아니라 깔끔하게 정리된 텍스트가 필요한데, 이런 정제 작업을 직접 만들지 않고 API 호출 몇 번으로 해결할 수 있다. 소스가 공개돼 있어 외부 서비스에 데이터를 보내지 않고 자체 서버에서 운영할 수 있다는 점도 실무에서 중요하다.
이 레포의 용어
- 마크다운(Markdown) · 제목이나 목록 같은 서식을 간단한 기호로 표시하는 가벼운 텍스트 형식
- 크롤(Crawl) · 한 페이지의 링크를 따라가며 여러 페이지를 자동으로 계속 방문해 수집하는 작업
- RAG 파이프라인 · AI가 답변할 때 참고할 외부 문서를 검색해 함께 넣어주는 처리 흐름
- 메타데이터(metadata) · 본문 외에 제목, 설명, 접속 시간처럼 콘텐츠를 설명하는 부가 정보
레포 원문 소개 (영문)
🔥 Turn any URL into clean, structured, LLM-ready content. The open-source web fetching & extraction API.
GitHub에서 보기주목받는 레포
- vorssaint/vorssaint-utils메뉴바 아이콘 하나로 유료 맥 앱 열 개 값을 대신하는 오픈소스 도구
- Alishahryar1/free-claude-code코딩 AI 에이전트를 무료 모델 49곳에 자유롭게 연결해주는 로컬 프록시
- freestylefly/awesome-gpt-image-2GPT-Image2로 원하는 이미지를 정확히 뽑아내는 프롬프트 설계도 532개를 모아놓은 저장소
- block/buzz사람과 AI 에이전트가 같은 채팅방에서 함께 일하는 오픈소스 협업 플랫폼
- NousResearch/hermes-agentNous Research가 만든, 쓰면 쓸수록 스스로 똑똑해지는 AI 에이전트 Hermes
- virgiliojr94/book-to-skill기술서 PDF를 AI 에이전트가 언제든 펼쳐볼 수 있는 '스킬'로 바꿔주는 도구
- VoltAgent/awesome-agent-skillsAI 코딩 도구가 특정 작업을 '전문가처럼' 하도록 도와주는 매뉴얼 1000개 이상을 한곳에 모았다
- anthropics/claude-plugins-community누구나 만든 Claude 확장 기능을 한곳에 모아 설치하게 해주는 저장소