langchain_community.document_loaders.diffbot.DiffbotLoader

class langchain_community.document_loaders.diffbot.DiffbotLoader(api_token: str, urls: List[str], continue_on_failure: bool = True)

加载`Diffbot`的json文件。

使用API令牌、ids和密钥进行初始化。

参数:

api_token: Diffbot API令牌。 urls: 要加载的URL列表。 continue_on_failure: 如果一个URL加载失败，是否继续加载其他URL。默认为True。

Methods

__init__(api_token, urls[, continue_on_failure])	使用API令牌、ids和密钥进行初始化。
alazy_load()	一个用于文档的惰性加载器。
aload()	将数据加载到文档对象中。
lazy_load()	一个用于文档的惰性加载器。
load()	从所有的URL中提取Diffbot的文本并返回文档
load_and_split([text_splitter])	加载文档并分割成块。块作为文档返回。

Parameters

• api_token (str) –

• urls (List[str]) –

• continue_on_failure (bool) –

__init__(api_token: str, urls: List[str], continue_on_failure: bool = True)

使用API令牌、ids和密钥进行初始化。

参数:

api_token: Diffbot API令牌。 urls: 要加载的URL列表。 continue_on_failure: 如果一个URL加载失败，是否继续加载其他URL。默认为True。

Parameters

• api_token (str) –

• urls (List[str]) –

• continue_on_failure (bool) –

async alazy_load() → AsyncIterator[Document]

一个用于文档的惰性加载器。

Return type

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到文档对象中。

Return type

List[Document]

lazy_load() → Iterator[Document]

一个用于文档的惰性加载器。

Return type

Iterator[Document]

load() → List[Document]

从所有的URL中提取Diffbot的文本并返回文档

Return type

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并分割成块。块作为文档返回。

不要覆盖此方法。应该被视为已弃用！

参数：

text_splitter: 用于分割文档的TextSplitter实例。

默认为RecursiveCharacterTextSplitter。

返回：

文档列表。

Parameters

text_splitter (Optional[TextSplitter]) –

Return type

List[Document]

Examples using DiffbotLoader

• Diffbot

• diffbot.md