DiffbotLoader#

class langchain_community.document_loaders.diffbot.DiffbotLoader(api_token: str, urls: List[str], continue_on_failure: bool = True)[source]#

加载 Diffbot json 文件。

使用API令牌、ID和密钥进行初始化。

Parameters:

api_token (str) – Diffbot API 令牌。
urls (List[str]) – 要加载的URL列表。
continue_on_failure (bool) – 是否在一个URL加载失败时继续加载其他URL。默认为True。

方法

`__init__`(api_token, urls[, continue_on_failure])	使用API令牌、ID和密钥进行初始化。
`alazy_load`()	一个用于文档的懒加载器。
`aload`()	将数据加载到Document对象中。
`lazy_load`()	文档的懒加载器。
`load`()	从Diffbot提取所有URL的文本并返回文档
`load_and_split`([text_splitter])	加载文档并将其分割成块。

__init__(api_token: str, urls: List[str], continue_on_failure: bool = True)[source]#

使用API令牌、ID和密钥进行初始化。

Parameters:

api_token (str) – Diffbot API 令牌。
urls (List[str]) – 要加载的URL列表。
continue_on_failure (bool) – 是否在一个URL加载失败时继续加载其他URL。默认为True。

async alazy_load() → AsyncIterator[Document]#

文档的懒加载器。

Return type:: AsyncIterator[Document]

async aload() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

lazy_load() → Iterator[Document]#

文档的懒加载器。

Return type:: 迭代器[文档]

load() → List[Document][来源]#

从Diffbot提取所有URL的文本并返回文档

Return type:: 列表[文档]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:: text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
Returns:: 文档列表。
Return type:: 列表[Document]

使用 DiffbotLoader 的示例

Diffbot