Docusaurus加载器#

class langchain_community.document_loaders.docusaurus.DocusaurusLoader(url: str, custom_html_tags: List[str] | None = None, **kwargs: Any)[源代码]#

从Docusaurus文档加载。

它利用SitemapLoader遍历Docusaurus文档网站生成的页面，并通过查找特定的HTML标签来提取内容。默认情况下，解析器会搜索Docusaurus页面的主要内容，通常是

。您还可以通过提供一个列表来定义自己的自定义HTML标签，例如：[“div”, “.main”, “a”]。

初始化 DocusaurusLoader

Parameters:

url (str) – Docusaurus 网站的基础 URL。
custom_html_tags (List[str] | None) – 可选的自定义HTML标签，用于从页面中提取内容。
kwargs (Any) – 用于扩展基础 SitemapLoader 的额外参数，例如： filter_urls, blocksize, meta_function, is_local, continue_on_failure

属性

web_path

方法

`__init__`(url[, custom_html_tags])	初始化 DocusaurusLoader
`alazy_load`()	异步从web_path中的URL(s)懒加载文本。
`aload`()
`ascrape_all`(urls[, parser])	异步获取所有URL，然后返回所有结果的soups。
`fetch_all`(urls)	以速率限制并发获取所有URL。
`lazy_load`()	加载站点地图。
`load`()	将数据加载到Document对象中。
`load_and_split`([text_splitter])	加载文档并将其分割成块。
`parse_sitemap`(soup, *[, depth])	解析站点地图XML并将其加载到字典列表中。
`scrape`([parser])	从网页抓取数据并以BeautifulSoup格式返回。
`scrape_all`(urls[, parser])	获取所有URL，然后返回所有结果的soups。

__init__(url: str, custom_html_tags: List[str] | None = None, **kwargs: Any)[源代码]#

初始化 DocusaurusLoader

Parameters:

url (str) – Docusaurus 网站的基础 URL。
custom_html_tags (List[str] | None) – 可选的自定义HTML标签，用于从页面中提取内容。
kwargs (Any) – 用于扩展基础 SitemapLoader 的额外参数，例如： filter_urls, blocksize, meta_function, is_local, continue_on_failure

async alazy_load() → AsyncIterator[Document]#

从web_path中的URL异步懒加载文本。

Return type:: AsyncIterator[Document]

aload() → List[Document]#

自版本0.3.14起已弃用：请参阅API参考以获取更新的用法：https://python.langchain.com/api_reference/community/document_loaders/langchain_community.document_loaders.web_base.WebBaseLoader.html 在langchain-community==1.0之前不会移除。

从web_path中的URL异步加载文本到Documents中。

Return type:: 列表[文档]

async ascrape_all(urls: List[str], parser: str | None = None) → List[Any]#

异步获取所有URL，然后返回所有结果的soups。

Parameters:

urls (列表[字符串])
parser (str | None)

Return type:

列表[任意类型]

async fetch_all(urls: List[str]) → Any#

同时获取所有URL，并进行速率限制。

Parameters:: urls (列表[字符串])
Return type:: 任何

lazy_load() → Iterator[Document]#

加载站点地图。

Return type:: 迭代器[文档]

load() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:: text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
Returns:: 文档列表。
Return type:: 列表[Document]

parse_sitemap(soup: Any, *, depth: int = 0) → List[dict]#

解析站点地图XML并加载到字典列表中。

Parameters:

soup (Any) – BeautifulSoup 对象。
depth (int) – 当前站点地图的深度。默认值：0

Returns:

字典列表。

Return type:

列表[字典]

scrape(parser: str | None = None) → Any#

从网页抓取数据并以BeautifulSoup格式返回。

Parameters:: parser (str | None)
Return type:: 任何

scrape_all(urls: List[str], parser: str | None = None) → List[Any]#

获取所有URL，然后返回所有结果的soups。

Parameters:

urls (列表[字符串])
parser (str | None)

Return type:

列表[任意类型]

使用 DocusaurusLoader 的示例

Docusaurus