异步Chromium加载器

class langchain_community.document_loaders.chromium.AsyncChromiumLoader(urls: List[str], *, headless: bool = True, user_agent: str | None = None)

使用无头模式的Chromium实例从URL中抓取HTML页面。

使用URL路径列表初始化加载器。

Parameters:

• urls (List[str]) – 一个用于抓取内容的URL列表。

• headless (bool) – 是否以无头模式运行浏览器。

• user_agent (str | None) – 用于浏览器的用户代理

Raises:

ImportError – 如果未安装所需的‘playwright’包。

方法

__init__(urls, *[, headless, user_agent])	使用URL路径列表初始化加载器。
alazy_load()	从提供的URL异步加载文本内容。
aload()	将数据加载到Document对象中。
ascrape_playwright(url)	使用Playwright的异步API异步抓取给定URL的内容。
lazy_load()	从提供的URL中懒加载文本内容。
load()	将数据加载到Document对象中。
load_and_split([text_splitter])	加载文档并将其分割成块。

__init__(urls: List[str], *, headless: bool = True, user_agent: str | None = None)

使用URL路径列表初始化加载器。

Parameters:

• urls (List[str]) – 一个用于抓取内容的URL列表。

• headless (bool) – 是否以无头模式运行浏览器。

• user_agent (str | None) – 用于浏览器的用户代理

Raises:

ImportError – 如果未安装所需的‘playwright’包。

async alazy_load() → AsyncIterator[Document]

从提供的URL异步加载文本内容。

此方法利用asyncio同时启动所有提供的URL的抓取。它通过利用并发异步请求来提高性能。每个文档的内容一旦可用就会立即生成，封装抓取的内容。

Yields:

文档 – 一个包含抓取内容的文档对象，以及其源URL作为元数据。

Return type:

AsyncIterator[Document]

async aload() → list[Document]

将数据加载到Document对象中。

Return type:

列表[Document]

async ascrape_playwright(url: str) → str

使用Playwright的异步API异步抓取给定URL的内容。

Parameters:

url (str) – 要抓取的URL。

Returns:

抓取的HTML内容或如果发生异常时的错误消息。

Return type:

字符串

lazy_load() → Iterator[Document]

从提供的URL中懒加载文本内容。

此方法在抓取时逐个生成文档，而不是等待抓取所有URL后再返回。

Yields:

文档 – 抓取的内容封装在 Document 对象中。

Return type:

迭代器[文档]

load() → list[Document]

将数据加载到Document对象中。

Return type:

列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。 默认为RecursiveCharacterTextSplitter。

Returns:

文档列表。

Return type:

列表[Document]

使用 AsyncChromiumLoader 的示例

• Async Chromium

• Beautiful Soup