SpiderLoader#

class langchain_community.document_loaders.spider.SpiderLoader(url: str, *, api_key: str | None = None, mode: Literal['scrape', 'crawl'] = 'scrape', params: dict | None = None)[来源]#

使用Spider AI加载网页作为文档。

必须安装Python包spider-client并拥有一个Spider API密钥。详情请参见https://spider.cloud。

使用API密钥和URL进行初始化。

Parameters:

url (str) – 要处理的URL。
api_key (str | None) – Spider API 密钥。如果未指定，将从环境变量中读取
SPIDER_API_KEY. (变量)
mode (Literal['scrape', 'crawl']) – 运行加载器的模式。默认为“scrape”。选项包括“scrape”（单页）和“crawl”（深度爬取子页面）。
params (dict | None) – Spider API 的额外参数。

方法

`__init__`(url, *[, api_key, mode, params])	使用API密钥和URL进行初始化。
`alazy_load`()	一个用于文档的懒加载器。
`aload`()	将数据加载到Document对象中。
`lazy_load`()	根据指定模式加载文档。
`load`()	将数据加载到Document对象中。
`load_and_split`([text_splitter])	加载文档并将其分割成块。

__init__(url: str, *, api_key: str | None = None, mode: Literal['scrape', 'crawl'] = 'scrape', params: dict | None = None)[源代码]#

使用API密钥和URL进行初始化。

Parameters:

url (str) – 要处理的URL。
api_key (str | None) – Spider API 密钥。如果未指定，将从环境变量中读取
SPIDER_API_KEY. (变量)
mode (Literal['scrape', 'crawl']) – 运行加载器的模式。默认为“scrape”。选项包括“scrape”（单页）和“crawl”（深度爬取子页面）。
params (dict | None) – Spider API 的额外参数。

async alazy_load() → AsyncIterator[Document]#

文档的懒加载器。

Return type:: AsyncIterator[Document]

async aload() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

lazy_load() → Iterator[Document][来源]#

根据指定的模式加载文档。

Return type:: 迭代器[文档]

load() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:: text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
Returns:: 文档列表。
Return type:: 列表[Document]

使用 SpiderLoader 的示例

Spider