ScrapflyLoader#

class langchain_community.document_loaders.scrapfly.ScrapflyLoader(urls: List[str], *, api_key: str | None = None, scrape_format: Literal['markdown', 'text'] = 'markdown', scrape_config: dict | None = None, continue_on_failure: bool = True)[来源]#

使用Scrapfly.io将URL转换为LLM可访问的Markdown。

欲了解更多详情，请访问：https://scrapfly.io/docs/sdk/python

初始化客户端。

Parameters:

urls (List[str]) – 要抓取的网址列表。
api_key (str | None) – Scrapfly API 密钥。如果未指定，则必须设置环境变量 SCRAPFLY_API_KEY。
scrape_format (Literal['markdown', 'text']) – 抓取结果的格式，可以是“markdown”或“text”。
scrape_config (dict | None) – ScrapFly 抓取配置对象的字典。
continue_on_failure (bool) – 是否在抓取URL失败时继续。

方法

`__init__`(urls, *[, api_key, scrape_format, ...])	初始化客户端。
`alazy_load`()	一个用于文档的懒加载器。
`aload`()	将数据加载到Document对象中。
`lazy_load`()	一个用于文档的懒加载器。
`load`()	将数据加载到Document对象中。
`load_and_split`([text_splitter])	加载文档并将其分割成块。

__init__(urls: List[str], *, api_key: str | None = None, scrape_format: Literal['markdown', 'text'] = 'markdown', scrape_config: dict | None = None, continue_on_failure: bool = True) → None[source]#

初始化客户端。

Parameters:

urls (List[str]) – 要抓取的网址列表。
api_key (str | None) – Scrapfly API 密钥。如果未指定，则必须设置环境变量 SCRAPFLY_API_KEY。
scrape_format (Literal['markdown', 'text']) – 抓取结果的格式，可以是“markdown”或“text”。
scrape_config (dict | None) – ScrapFly 抓取配置对象的字典。
continue_on_failure (bool) – 是否在抓取URL失败时继续。

Return type:

无

async alazy_load() → AsyncIterator[Document]#

文档的懒加载器。

Return type:: AsyncIterator[Document]

async aload() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

lazy_load() → Iterator[Document][来源]#

文档的懒加载器。

Return type:: 迭代器[文档]

load() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:: text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
Returns:: 文档列表。
Return type:: 列表[Document]

使用 ScrapflyLoader 的示例

# ScrapFly