MHTMLLoader#

class langchain_community.document_loaders.mhtml.MHTMLLoader(file_path: str | Path, open_encoding: str | None = None, bs_kwargs: dict | None = None, get_text_separator: str = '')[source]#

使用BeautifulSoup解析MHTML文件。

使用路径初始化，并可选择使用文件编码，以及任何要传递给BeautifulSoup对象的kwargs。

Parameters:

file_path (str | Path) – 要加载的文件的路径。
open_encoding (str | None) – 打开文件时使用的编码。
bs_kwargs (dict | None) – 任何传递给BeautifulSoup对象的kwargs。
get_text_separator (str) – 从soup中获取文本时使用的分隔符。

方法

`__init__`(file_path[, open_encoding, ...])	使用路径进行初始化，并可选择性地指定文件编码以及传递给BeautifulSoup对象的任何kwargs。
`alazy_load`()	文档的懒加载器。
`aload`()	将数据加载到Document对象中。
`lazy_load`()	将MHTML文档加载到文档对象中。
`load`()	将数据加载到Document对象中。
`load_and_split`([text_splitter])	加载文档并将其分割成块。

__init__(file_path: str | Path, open_encoding: str | None = None, bs_kwargs: dict | None = None, get_text_separator: str = '') → None[source]#

使用路径初始化，并可选择使用文件编码，以及任何要传递给BeautifulSoup对象的kwargs。

Parameters:

file_path (str | Path) – 要加载的文件的路径。
open_encoding (str | None) – 打开文件时使用的编码。
bs_kwargs (dict | None) – 任何传递给BeautifulSoup对象的kwargs。
get_text_separator (str) – 从soup中获取文本时使用的分隔符。

Return type:

无

async alazy_load() → AsyncIterator[Document]#

文档的懒加载器。

Return type:: AsyncIterator[Document]

async aload() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

lazy_load() → Iterator[Document][source]#

将MHTML文档加载到文档对象中。

Return type:: 迭代器[文档]

load() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:: text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
Returns:: 文档列表。
Return type:: 列表[Document]

使用 MHTMLLoader 的示例

mhtml