langchain_community.document_loaders.readthedocs.ReadTheDocsLoader

class langchain_community.document_loaders.readthedocs.ReadTheDocsLoader(path: Union[str, Path], encoding: Optional[str] = None, errors: Optional[str] = None, custom_html_tag: Optional[Tuple[str, dict]] = None, patterns: Sequence[str] = ('*.htm', '*.html'), exclude_links_ratio: float = 1.0, **kwargs: Optional[Any])[source]

加载`ReadTheDocs`文档目录。

初始化ReadTheDocsLoader

加载器循环遍历`path`下的所有文件，并通过检索主要的html标签来提取文件的实际内容。默认的主要html标签包括`<main id=”main-content>`、<div role=”main>`和`<article role=”main>。您还可以通过传递custom_html_tag来定义自己的html标签，例如`(“div”, “class=main”)`。加载器按照自定义html标签（如果存在）和默认html标签的顺序迭代html标签。如果任何标签不为空，则循环将中断并从该标签中检索内容。

参数：

path：pulled readthedocs文件夹的位置。 encoding：打开文档时要使用的编码。 errors：指定如何处理编码和解码错误—不能在二进制模式下使用。 custom_html_tag：可选的自定义html标签，用于从文件中检索内容。 patterns：要加载的文件模式，传递给`glob.rglob`。 exclude_links_ratio：链接:内容的比率，用于排除页面。这是为了减少索引页面进入检索结果的频率。建议值：0.5 kwargs：传递给`bs4.BeautifulSoup`的命名参数。

Methods

__init__(path[, encoding, errors, ...])

初始化ReadTheDocsLoader

alazy_load()

一个用于文档的惰性加载器。

aload()

将数据加载到文档对象中。

lazy_load()

一个用于文档的惰性加载器。

load()

将数据加载到文档对象中。

load_and_split([text_splitter])

加载文档并分割成块。块作为文档返回。
Parameters

  • path (Union[str, Path]) –

  • encoding (Optional[str]) –

  • errors (Optional[str]) –

  • custom_html_tag (Optional[Tuple[str, dict]]) –

  • patterns (Sequence[str]) –

  • exclude_links_ratio (float) –

  • kwargs (Optional[Any]) –

__init__(path: Union[str, Path], encoding: Optional[str] = None, errors: Optional[str] = None, custom_html_tag: Optional[Tuple[str, dict]] = None, patterns: Sequence[str] = ('*.htm', '*.html'), exclude_links_ratio: float = 1.0, **kwargs: Optional[Any])[source]

初始化ReadTheDocsLoader

加载器循环遍历`path`下的所有文件，并通过检索主要的html标签来提取文件的实际内容。默认的主要html标签包括`<main id=”main-content>`、<div role=”main>`和`<article role=”main>。您还可以通过传递custom_html_tag来定义自己的html标签，例如`(“div”, “class=main”)`。加载器按照自定义html标签（如果存在）和默认html标签的顺序迭代html标签。如果任何标签不为空，则循环将中断并从该标签中检索内容。

参数：

path：pulled readthedocs文件夹的位置。 encoding：打开文档时要使用的编码。 errors：指定如何处理编码和解码错误—不能在二进制模式下使用。 custom_html_tag：可选的自定义html标签，用于从文件中检索内容。 patterns：要加载的文件模式，传递给`glob.rglob`。 exclude_links_ratio：链接:内容的比率，用于排除页面。这是为了减少索引页面进入检索结果的频率。建议值：0.5 kwargs：传递给`bs4.BeautifulSoup`的命名参数。

Parameters

  • path (Union[str, Path]) –

  • encoding (Optional[str]) –

  • errors (Optional[str]) –

  • custom_html_tag (Optional[Tuple[str, dict]]) –

  • patterns (Sequence[str]) –

  • exclude_links_ratio (float) –

  • kwargs (Optional[Any]) –

async alazy_load() → AsyncIterator[Document]

一个用于文档的惰性加载器。

Return type

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到文档对象中。

Return type

List[Document]

lazy_load() → Iterator[Document][source]

一个用于文档的惰性加载器。

Return type

Iterator[Document]

load() → List[Document]

将数据加载到文档对象中。

Return type

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并分割成块。块作为文档返回。

不要覆盖此方法。应该被视为已弃用！

参数：
text_splitter: 用于分割文档的TextSplitter实例。

默认为RecursiveCharacterTextSplitter。

返回：

文档列表。

Parameters

text_splitter (Optional[TextSplitter]) –

Return type

List[Document]

Examples using ReadTheDocsLoader