Sparkfetch/sparkfetch
一个把杂乱网页转换成干净文本、方便AI直接读取的开源接口
SparkFetch只需输入一个网址,就能去掉广告、导航栏等无关内容,把网页整理成干净的Markdown、纯文本或结构化JSON格式返回。它不仅能抓取单个页面,还能按设定深度自动爬取整个网站,或者快速列出某个域名下的所有链接。项目用TypeScript编写,基于Node.js和Express构建,开源代码可以自己部署运行。
它做什么
- 不是直接返回原始HTML,而是去掉广告、导航等无用内容,输出Markdown、纯文本或JSON格式
- scrape接口抓取单个页面,crawl接口顺着链接批量抓取多个页面,map接口只快速列出域名下的所有网址
- 返回结果中除了正文内容,还带有标题、描述、状态码等附加信息
- 用TypeScript编写,运行在Node.js 24和Express 5上,任何人都可以下载后部署在自己的服务器上
为什么重要
给AI聊天机器人或搜索工具提供最新网页信息时,需要的是整理干净的文本而不是原始网页,这个项目省去了自己开发这套清洗逻辑的工作。开源意味着团队可以自行部署,不必把数据发送给第三方服务。
本仓库术语
- Markdown · 用简单符号标记标题、列表等格式的轻量文本格式
- 爬取(Crawl) · 顺着页面中的链接自动访问并收集多个页面的操作
- RAG流程 · AI在生成回答前先检索外部文档作为参考的处理流程
- 元数据(metadata) · 除正文外描述内容的附加信息,如标题、描述、抓取时间
仓库简介（英文）
🔥 Turn any URL into clean, structured, LLM-ready content. The open-source web fetching & extraction API.
在 GitHub 打开热门仓库
- vorssaint/vorssaint-utils一个免费菜单栏应用,顶替十几款付费Mac工具
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台
- NousResearch/hermes-agentNous Research推出的Hermes是一款越用越聪明的AI智能体
- virgiliojr94/book-to-skill把技术类书籍PDF变成AI编程助手随时可查阅的技能包
- VoltAgent/awesome-agent-skills把上千份让AI编程助手秒变专家的操作手册集中放在一个地方
- anthropics/claude-plugins-community一个把大家做的Claude插件集中起来供安装的仓库