MWDumpLoader

class langchain_community.document_loaders.mediawikidump.MWDumpLoader(file_path: str | Path, encoding: str | None = 'utf8', namespaces: Sequence[int] | None = None, skip_redirects: bool | None = False, stop_on_error: bool | None = True)

从XML文件加载MediaWiki转储。

示例

from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import MWDumpLoader

loader = MWDumpLoader(
    file_path="myWiki.xml",
    encoding="utf8"
)
docs = loader.load()
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000, chunk_overlap=0
)
texts = text_splitter.split_documents(docs)

Parameters:

• file_path (str) – XML 本地文件路径

• encoding (str, optional) – 字符集编码，默认为“utf8”

• namespaces (List[int],optional) – 你想要解析的页面的命名空间。 查看 https://www.mediawiki.org/wiki/Help:Namespaces#Localisation 获取所有常见命名空间的列表

• skip_redirects (bool, optional) – 如果为True，则跳过重定向到其他页面的页面， 如果为False，则保留它们。默认为False

• stop_on_error (bool, optional) – 如果为False，则跳过导致解析错误的页面，如果为True，则停止。默认为True

方法

__init__(file_path[, encoding, namespaces, ...])
alazy_load()	一个用于文档的懒加载器。
aload()	将数据加载到Document对象中。
lazy_load()	从文件路径懒加载。
load()	将数据加载到Document对象中。
load_and_split([text_splitter])	加载文档并将其分割成块。

__init__(file_path: str | Path, encoding: str | None = 'utf8', namespaces: Sequence[int] | None = None, skip_redirects: bool | None = False, stop_on_error: bool | None = True)

Parameters:

• file_path (str | Path)

• encoding (str | None)

• 命名空间 (序列[整数] | 无)

• skip_redirects (bool | None)

• stop_on_error (bool | None)

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

Return type:

AsyncIterator[Document]

async aload() → list[Document]

将数据加载到Document对象中。

Return type:

列表[Document]

lazy_load() → Iterator[Document]

从文件路径懒加载。

Return type:

迭代器[文档]

load() → list[Document]

将数据加载到Document对象中。

Return type:

列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。 默认为RecursiveCharacterTextSplitter。

Returns:

文档列表。

Return type:

列表[Document]

使用MWDumpLoader的示例

• MediaWiki Dump

• MediaWikiDump