🔥最新开源 Web 爬虫项目:FireCrawl FireCrawl可以将整个网站转换为可用于 LLM 的 Markdown 或结构化数据。使用单个 API 进行抓取、抓取和提取。 说白了就是将一个 URL 转换为 Markdown,很方便的和各种大模型进行对接,而且还支持各种各样的 SDK。 目前GitHub Stars 量已经突破 11K。 不想自己部署的话,可以直接使用它们的在线服务,直接转Markdown 格式,效果还不错。 开源地址:https://github.com/mendableai/firecrawl
空空如也!