GlueCatalogLoader

class langchain_community.document_loaders.glue_catalog.GlueCatalogLoader(database: str, *, session: Session | None = None, profile_name: str | None = None, table_filter: List[str] | None = None)

从AWS Glue加载表结构。

此加载器获取指定AWS Glue数据库中每个表的模式。 模式详细信息包括列名及其数据类型，类似于pandas的dtype表示。

AWS 凭证会自动使用 boto3 加载，遵循标准的 AWS 方法： https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

如果需要特定的AWS配置文件，可以指定并使用它来建立会话。

初始化Glue数据库加载器。

Parameters:

• database (str) – 从中加载表模式的Glue数据库的名称。

• session (可选[Session]) – 可选。一个 boto3 Session 对象。如果未提供，将创建一个新的会话。

• profile_name (可选[str]) – 可选。用于凭证的AWS配置文件的名称。

• table_filter (Optional[List[str]]) – 可选。要获取模式的表名列表，如果为None则获取所有表。

方法

__init__(database, *[, session, ...])	初始化 Glue 数据库加载器。
alazy_load()	一个用于文档的懒加载器。
aload()	将数据加载到Document对象中。
lazy_load()	懒加载表结构为文档对象。
load()	将数据加载到Document对象中。
load_and_split([text_splitter])	加载文档并将其分割成块。

__init__(database: str, *, session: Session | None = None, profile_name: str | None = None, table_filter: List[str] | None = None)

初始化Glue数据库加载器。

Parameters:

• database (str) – 从中加载表模式的Glue数据库的名称。

• session (可选[Session]) – 可选。一个 boto3 Session 对象。如果未提供，将创建一个新的会话。

• profile_name (可选[str]) – 可选。用于凭证的AWS配置文件的名称。

• table_filter (Optional[List[str]]) – 可选。要获取模式的表名列表，如果为None则获取所有表。

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

Return type:

AsyncIterator[Document]

async aload() → list[Document]

将数据加载到Document对象中。

Return type:

列表[Document]

lazy_load() → Iterator[Document]

懒加载表模式为文档对象。

Yields:

文档对象，每个对象代表一个表的模式。

Return type:

迭代器[文档]

load() → list[Document]

将数据加载到Document对象中。

Return type:

列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。 默认为RecursiveCharacterTextSplitter。

Returns:

文档列表。

Return type:

列表[Document]

使用 GlueCatalogLoader 的示例

• AWS

• Glue Catalog