GitbookLoader#

class langchain_community.document_loaders.gitbook.GitbookLoader(web_page: str, load_all_paths: bool = False, base_url: str | None = None, content_selector: str = 'main', continue_on_failure: bool = False, show_progress: bool = True)[来源]#

加载 GitBook 数据。

从单个页面加载，或者
加载导航栏中的所有（相对）路径。

使用网页初始化，并决定是否加载所有路径。

Parameters:

web_page (str) – 要加载的网页或从中发现相对路径的起点。
load_all_paths (bool) – 如果设置为True，导航栏中的所有相对路径都会被加载，而不仅仅是web_page。
base_url (str | None) – 如果 load_all_paths 为 True，相对路径将附加到此基础 URL。默认为 web_page。
content_selector (str) – 用于加载内容的CSS选择器。默认为“main”。
continue_on_failure (bool) – 是否在加载URL时发生错误时继续加载站点地图，发出警告而不是引发异常。将此设置为True可以使加载器更加健壮，但也可能导致数据丢失。默认值：False
show_progress (bool) – 是否在加载时显示进度条。默认值：True

属性

web_path

方法

`__init__`(web_page[, load_all_paths, ...])	使用网页和是否加载所有路径进行初始化。
`alazy_load`()	异步从web_path中的URL(s)懒加载文本。
`aload`()
`ascrape_all`(urls[, parser])	异步获取所有URL，然后返回所有结果的soups。
`fetch_all`(urls)	并发获取所有URL，并带有速率限制。
`lazy_load`()	从单个GitBook页面获取文本。
`load`()	将数据加载到Document对象中。
`load_and_split`([text_splitter])	加载文档并将其分割成块。
`scrape`([parser])	从网页抓取数据并以BeautifulSoup格式返回。
`scrape_all`(urls[, parser])	获取所有URL，然后返回所有结果的soups。

__init__(web_page: str, load_all_paths: bool = False, base_url: str | None = None, content_selector: str = 'main', continue_on_failure: bool = False, show_progress: bool = True)[source]#

使用网页初始化，并决定是否加载所有路径。

Parameters:

web_page (str) – 要加载的网页或从中发现相对路径的起点。
load_all_paths (bool) – 如果设置为True，导航栏中的所有相对路径都会被加载，而不仅仅是web_page。
base_url (str | None) – 如果 load_all_paths 为 True，相对路径将附加到此基础 URL。默认为 web_page。
content_selector (str) – 用于加载内容的CSS选择器。默认为“main”。
continue_on_failure (bool) – 是否在加载URL时发生错误时继续加载站点地图，发出警告而不是引发异常。将此设置为True可以使加载器更加健壮，但也可能导致数据丢失。默认值：False
show_progress (bool) – 是否在加载时显示进度条。默认值：True

async alazy_load() → AsyncIterator[Document]#

从web_path中的URL异步懒加载文本。

Return type:: AsyncIterator[Document]

aload() → List[Document]#

自版本0.3.14起已弃用：请参阅API参考以获取更新的用法：https://python.langchain.com/api_reference/community/document_loaders/langchain_community.document_loaders.web_base.WebBaseLoader.html 在langchain-community==1.0之前不会移除。

从web_path中的URL异步加载文本到Documents中。

Return type:: 列表[文档]

async ascrape_all(urls: List[str], parser: str | None = None) → List[Any]#

异步获取所有URL，然后返回所有结果的soups。

Parameters:

urls (列表[字符串])
parser (str | None)

Return type:

列表[任意类型]

async fetch_all(urls: List[str]) → Any#

同时获取所有URL，并进行速率限制。

Parameters:: urls (列表[字符串])
Return type:: 任何

lazy_load() → Iterator[Document][source]#

从单个GitBook页面获取文本。

Return type:: 迭代器[文档]

load() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:: text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
Returns:: 文档列表。
Return type:: 列表[Document]

scrape(parser: str | None = None) → Any#

从网页抓取数据并以BeautifulSoup格式返回。

Parameters:: parser (str | None)
Return type:: 任何

scrape_all(urls: List[str], parser: str | None = None) → List[Any]#

获取所有URL，然后返回所有结果的soups。

Parameters:

urls (列表[字符串])
parser (str | None)

Return type:

列表[任意类型]

使用 GitbookLoader 的示例

GitBook