FireCrawl

FireCrawl 爬取并将任何网站转换为适合LLM的数据。 它会爬取所有可访问的子页面，并为每个页面提供干净的markdown 和元数据。不需要站点地图。

安装与设置​

安装python SDK：

pip install firecrawl-py==0.0.20

文档加载器​

查看使用示例。

from langchain_community.document_loaders import FireCrawlLoader