PebbloSafeLoader#

class langchain_community.document_loaders.pebblo.PebbloSafeLoader(langchain_loader: BaseLoader, name: str, owner: str = '', description: str = '', api_key: str | None = None, load_semantic: bool = False, classifier_url: str | None = None, *, classifier_location: str = 'local', anonymize_snippets: bool = False)[source]#

Pebblo Safe Loader 类是一个围绕文档加载器的包装器，使数据能够被审查。

方法

__init__(langchain_loader, name[, owner, ...])

alazy_load()

一个用于文档的懒加载器。

aload()

将数据加载到Document对象中。

classify_in_batches()

批量分类文档。

lazy_load()

以懒加载方式加载文档。

load()

加载文档。

load_and_split([text_splitter])

加载文档并将其分割成块。

set_discover_sent()

Parameters:

  • langchain_loader (BaseLoader)

  • name (str)

  • owner (str)

  • 描述 (str)

  • api_key (str | None)

  • load_semantic (bool)

  • classifier_url (str | None)

  • classifier_location (str)

  • anonymize_snippets (bool)

__init__(langchain_loader: BaseLoader, name: str, owner: str = '', description: str = '', api_key: str | None = None, load_semantic: bool = False, classifier_url: str | None = None, *, classifier_location: str = 'local', anonymize_snippets: bool = False)[source]#
Parameters:

  • langchain_loader (BaseLoader)

  • name (str)

  • owner (str)

  • 描述 (str)

  • api_key (str | None)

  • load_semantic (bool)

  • classifier_url (str | None)

  • classifier_location (str)

  • anonymize_snippets (bool)

async alazy_load() → AsyncIterator[Document]#

文档的懒加载器。

Return type:

AsyncIterator[Document]

async aload() → list[Document]#

将数据加载到Document对象中。

Return type:

列表[Document]

classify_in_batches() → None[source]#

批量分类文档。 这是为了避免在发送大量文档时API超时。 批次是根据page_content的大小生成的。

Return type:

无

lazy_load() → Iterator[Document][source]#

以懒加载的方式加载文档。

Raises:

  • NotImplementedError – 当未实现 lazy_load 时引发

  • 在包装的加载器内。 –

Yields:

list – 来自加载器懒加载的文档。

Return type:

迭代器[文档]

load() → List[Document][来源]#

加载文档。

Returns:

从封装的loader的load方法获取的文档。

Return type:

列表

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。 默认为RecursiveCharacterTextSplitter。

Returns:

文档列表。

Return type:

列表[Document]

classmethod set_discover_sent() → None[source]#
Return type:

无

使用 PebbloSafeLoader 的示例