维基百科加载器

class langchain_community.document_loaders.wikipedia.WikipediaLoader(query: str, lang: str = 'en', load_max_docs: int | None = 25, load_all_available_meta: bool | None = False, doc_content_chars_max: int | None = 4000)

加载自维基百科。

目前查询长度的硬限制为300。

每个维基页面代表一个文档。

初始化 WikipediaLoader 类的新实例。

Parameters:

• query (str) – 用于在维基百科上搜索的查询字符串。

• lang (str, optional) – Wikipedia语言版本的语言代码。默认为“en”。

• load_max_docs (int, optional) – 要加载的最大文档数。 默认值为100。

• load_all_available_meta (bool, optional) – 表示是否加载每个文档的所有可用元数据。默认为 False。

• doc_content_chars_max (int, optional) – 文档内容的最大字符数。默认为4000。

方法

__init__(query[, lang, load_max_docs, ...])	初始化 WikipediaLoader 类的新实例。
alazy_load()	一个用于文档的懒加载器。
aload()	将数据加载到Document对象中。
lazy_load()	将维基百科的查询结果加载到文档列表中。
load()	将数据加载到Document对象中。
load_and_split([text_splitter])	加载文档并将其分割成块。

__init__(query: str, lang: str = 'en', load_max_docs: int | None = 25, load_all_available_meta: bool | None = False, doc_content_chars_max: int | None = 4000)

初始化 WikipediaLoader 类的新实例。

Parameters:

• query (str) – 用于在维基百科上搜索的查询字符串。

• lang (str, optional) – Wikipedia语言版本的语言代码。默认为“en”。

• load_max_docs (int, optional) – 要加载的最大文档数。 默认值为100。

• load_all_available_meta (bool, optional) – 表示是否加载每个文档的所有可用元数据。默认为 False。

• doc_content_chars_max (int, optional) – 文档内容的最大字符数。默认为4000。

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

Return type:

AsyncIterator[Document]

async aload() → list[Document]

将数据加载到Document对象中。

Return type:

列表[Document]

lazy_load() → Iterator[Document]

将维基百科的查询结果加载到文档列表中。

Returns:

表示已加载的Document对象列表

维基百科页面。

Return type:

迭代器[文档]

load() → list[Document]

将数据加载到Document对象中。

Return type:

列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。 默认为RecursiveCharacterTextSplitter。

Returns:

文档列表。

Return type:

列表[Document]

使用 WikipediaLoader 的示例

• Diffbot

• Wikipedia