`langchain_community.document_loaders.mediawikidump`.MWDumpLoader¶

class langchain_community.document_loaders.mediawikidump.MWDumpLoader(file_path: Union[str, Path], encoding: Optional[str] = 'utf8', namespaces: Optional[Sequence[int]] = None, skip_redirects: Optional[bool] = False, stop_on_error: Optional[bool] = True)[source]¶

从`XML`文件中加载`MediaWiki`转储。

示例:

from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import MWDumpLoader

loader = MWDumpLoader(
    file_path="myWiki.xml",
    encoding="utf8"
)
docs = loader.load()
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000, chunk_overlap=0
)
texts = text_splitter.split_documents(docs)

Parameters

file_path (str) – XML本地文件路径
encoding (str, optional) – 字符集编码，默认为”utf8”
namespaces (List[int],optional) – 要解析的页面的命名空间。请参阅https://www.mediawiki.org/wiki/Help:Namespaces#Localisation 以获取所有常见命名空间的列表
skip_redirects (bool, optional) – TR=rue跳过重定向到其他页面的页面， False保留它们。默认为False
stop_on_error (bool, optional) – False跳过导致解析错误的页面， True停止。默认为True

Methods

`__init__`(file_path[, encoding, namespaces, ...])
`alazy_load`()	一个用于文档的惰性加载器。
`aload`()	将数据加载到文档对象中。
`lazy_load`()	从文件路径中进行延迟加载。
`load`()	将数据加载到文档对象中。
`load_and_split`([text_splitter])	加载文档并分割成块。块作为文档返回。

__init__(file_path: Union[str, Path], encoding: Optional[str] = 'utf8', namespaces: Optional[Sequence[int]] = None, skip_redirects: Optional[bool] = False, stop_on_error: Optional[bool] = True)[source]¶

Parameters

file_path (Union[str, Path]) –
encoding (Optional[str]) –
namespaces (Optional[Sequence[int]]) –
skip_redirects (Optional[bool]) –
stop_on_error (Optional[bool]) –

async alazy_load() → AsyncIterator[Document]¶

一个用于文档的惰性加载器。

Return type: AsyncIterator[Document]

async aload() → List[Document]¶

将数据加载到文档对象中。

Return type: List[Document]

lazy_load() → Iterator[Document][source]¶

从文件路径中进行延迟加载。

Return type: Iterator[Document]

load() → List[Document]¶

将数据加载到文档对象中。

Return type: List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]¶

加载文档并分割成块。块作为文档返回。

不要覆盖此方法。应该被视为已弃用！

参数：

text_splitter: 用于分割文档的TextSplitter实例。: 默认为RecursiveCharacterTextSplitter。

返回：

文档列表。

Parameters: text_splitter (Optional[TextSplitter]) –
Return type: List[Document]

Examples using MWDumpLoader¶

langchain_community.document_loaders.mediawikidump.MWDumpLoader¶

Examples using MWDumpLoader¶

`langchain_community.document_loaders.mediawikidump`.MWDumpLoader¶