langchain_community.document_loaders.airbyte.AirbyteCDKLoader

class langchain_community.document_loaders.airbyte.AirbyteCDKLoader(config: Mapping[str, Any], source_class: Any, stream_name: str, record_handler: Optional[Callable[[Any, Optional[str]], Document]] = None, state: Optional[Any] = None)[source]

使用CDK实现的Airbyte源连接器加载。

初始化加载器。

参数：

config: 传递给源连接器的配置。 source_class: 源连接器类。 stream_name: 要加载的流的名称。 record_handler: 一个接受记录和可选id的函数，并返回一个文档。如果为None，则记录将被用作文档。默认为None。 state: 传递给源连接器的状态。默认为None。

Attributes

last_state

Methods

__init__(config, source_class, stream_name)

初始化加载器。

alazy_load()

一个用于文档的惰性加载器。

aload()

将数据加载到文档对象中。

lazy_load()

一个用于文档的惰性加载器。

load()

将数据加载到文档对象中。

load_and_split([text_splitter])

加载文档并分割成块。块作为文档返回。
Parameters

  • config (Mapping[str, Any]) –

  • source_class (Any) –

  • stream_name (str) –

  • record_handler (Optional[Callable[[Any, Optional[str]], Document]]) –

  • state (Optional[Any]) –

Return type

None

__init__(config: Mapping[str, Any], source_class: Any, stream_name: str, record_handler: Optional[Callable[[Any, Optional[str]], Document]] = None, state: Optional[Any] = None) → None[source]

初始化加载器。

参数：

config: 传递给源连接器的配置。 source_class: 源连接器类。 stream_name: 要加载的流的名称。 record_handler: 一个接受记录和可选id的函数，并返回一个文档。如果为None，则记录将被用作文档。默认为None。 state: 传递给源连接器的状态。默认为None。

Parameters

  • config (Mapping[str, Any]) –

  • source_class (Any) –

  • stream_name (str) –

  • record_handler (Optional[Callable[[Any, Optional[str]], Document]]) –

  • state (Optional[Any]) –

Return type

None

async alazy_load() → AsyncIterator[Document]

一个用于文档的惰性加载器。

Return type

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到文档对象中。

Return type

List[Document]

lazy_load() → Iterator[Document][source]

一个用于文档的惰性加载器。

Return type

Iterator[Document]

load() → List[Document]

将数据加载到文档对象中。

Return type

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并分割成块。块作为文档返回。

不要覆盖此方法。应该被视为已弃用！

参数：
text_splitter: 用于分割文档的TextSplitter实例。

默认为RecursiveCharacterTextSplitter。

返回：

文档列表。

Parameters

text_splitter (Optional[TextSplitter]) –

Return type

List[Document]

Examples using AirbyteCDKLoader