langchain_community.document_loaders.chromium.AsyncChromiumLoader¶
- class langchain_community.document_loaders.chromium.AsyncChromiumLoader(urls: List[str], *, headless: bool = True)[source]¶
使用无头Chromium实例从URL中抓取HTML页面。
用URL路径列表初始化加载器。
- 参数：
urls：要从中提取内容的URL列表。 headless：是否在无头模式下运行浏览器。
- 引发：
ImportError：如果未安装所需的“playwright”包。
Methods
__init__(urls, *[, headless])用URL路径列表初始化加载器。
从提供的URL异步加载文本内容。
aload()将数据加载到文档对象中。
ascrape_playwright(url)使用Playwright的异步API异步地抓取给定URL的内容。
从提供的URL中延迟加载文本内容。
load()将数据加载到文档对象中。
load_and_split([text_splitter])加载文档并分割成块。块作为文档返回。
- Parameters
urls (List[str]) –
headless (bool) –
- __init__(urls: List[str], *, headless: bool = True)[source]¶
用URL路径列表初始化加载器。
- 参数：
urls：要从中提取内容的URL列表。 headless：是否在无头模式下运行浏览器。
- 引发：
ImportError：如果未安装所需的“playwright”包。
- Parameters
urls (List[str]) –
headless (bool) –
- async alazy_load() AsyncIterator[Document][source]¶
从提供的URL异步加载文本内容。
该方法利用asyncio同时启动所有提供的URL的抓取，通过利用并发的异步请求来提高性能。每个文档在其内容可用时被产生，封装了抓取的内容。
- 产生：
Document: 包含抓取内容的Document对象，以及其源URL作为元数据。
- Return type
AsyncIterator[Document]
- async ascrape_playwright(url: str) str[source]¶
使用Playwright的异步API异步地抓取给定URL的内容。
- 参数:
url (str): 要抓取的URL。
- 返回:
str: 抓取的HTML内容或如果发生异常则返回错误消息。
- Parameters
url (str) –
- Return type
str
- lazy_load() Iterator[Document][source]¶
从提供的URL中延迟加载文本内容。
该方法逐个生成文档，而不是等待所有URL被抓取后再返回。
- 生成：
Document: 封装在Document对象中的抓取内容。
- Return type
Iterator[Document]
- load_and_split(text_splitter: Optional[TextSplitter] = None) List[Document]¶
加载文档并分割成块。块作为文档返回。
不要覆盖此方法。应该被视为已弃用！
- 参数：
- text_splitter: 用于分割文档的TextSplitter实例。
默认为RecursiveCharacterTextSplitter。
- 返回：
文档列表。
- Parameters
text_splitter (Optional[TextSplitter]) –
- Return type
List[Document]