scenepilotLLM/sparkfetch
一个把任意网页转换成干净markdown或JSON、方便大模型直接使用的开源API
SparkFetch是一个可自行部署的API,输入任意URL就能去掉广告、导航栏等杂乱内容,返回干净的Markdown、结构化JSON或纯文本。它提供单页抓取、按深度递归爬取整个网站、以及快速发现某个域名下所有链接的地图功能。项目基于Node.js 24和Express 5用TypeScript构建。
它做什么
- 抓取接口输入单个URL,返回Markdown正文以及标题、描述、链接等元数据的JSON结果
- 爬取接口可设置递归深度和页面数量上限,以异步任务方式运行,可查询进度
- 地图接口能立即列出某个域名下所有可访问的URL,输出清理功能会自动去除nav、footer等无用标签
- API规范用OpenAPI 3.1定义,用Zod做校验,数据库层使用Drizzle ORM
- 项目以MIT许可证开源,可在Node.js 18及以上环境用pnpm自行安装部署
为什么重要
如果你在搭建把网页内容喂给大模型的RAG系统或做研究自动化,这个工具能省去自己写HTML解析器的麻烦,直接拿到干净文本。由于可以自行部署,你能掌控自己的数据流程,不必依赖第三方抓取服务。
本仓库术语
- Markdown · 用简单符号表示标题、列表等结构的文本格式,便于大模型解析
- RAG流程 · 检索外部文档为大模型回答提供依据的系统结构
- 爬取 · 自动沿着链接访问并收集网站多个页面的操作
- OpenAPI 3.1 · 用于描述API请求和响应格式的标准规范
- Zod · TypeScript中用于校验输入数据格式是否正确的库
仓库简介（英文）
🔥 Turn any URL into clean, structured, LLM-ready content. The open-source web fetching & extraction API.
在 GitHub 打开热门仓库
- vorssaint/vorssaint-utils一个免费菜单栏应用,顶替十几款付费Mac工具
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台
- NousResearch/hermes-agentNous Research推出的Hermes是一款越用越聪明的AI智能体
- virgiliojr94/book-to-skill把技术类书籍PDF变成AI编程助手随时可查阅的技能包
- VoltAgent/awesome-agent-skills把上千份让AI编程助手秒变专家的操作手册集中放在一个地方
- anthropics/claude-plugins-community一个把大家做的Claude插件集中起来供安装的仓库