PySpark数据框加载器#

class langchain_community.document_loaders.pyspark_dataframe.PySparkDataFrameLoader(spark_session: SparkSession | None = None, df: Any | None = None, page_content_column: str = 'text', fraction_of_memory: float = 0.1)[来源]#

加载 PySpark 数据框。

使用Spark DataFrame对象进行初始化。

Parameters:

spark_session (SparkSession | None) – SparkSession 对象。
df (Any | None) – Spark DataFrame 对象。
page_content_column (str) – 包含页面内容的列的名称。默认为“text”。
fraction_of_memory (float) – 使用的内存比例。默认为0.1。

方法

`__init__`([spark_session, df, ...])	使用一个Spark DataFrame对象进行初始化。
`alazy_load`()	一个用于文档的懒加载器。
`aload`()	将数据加载到Document对象中。
`get_num_rows`()	获取DataFrame中“可行”行的数量
`lazy_load`()	文档内容的懒加载器。
`load`()	从数据框中加载。
`load_and_split`([text_splitter])	加载文档并将其分割成块。

__init__(spark_session: SparkSession | None = None, df: Any | None = None, page_content_column: str = 'text', fraction_of_memory: float = 0.1)[来源]#

使用Spark DataFrame对象进行初始化。

Parameters:

spark_session (SparkSession | None) – SparkSession 对象。
df (Any | None) – Spark DataFrame 对象。
page_content_column (str) – 包含页面内容的列的名称。默认为“text”。
fraction_of_memory (float) – 使用的内存比例。默认为0.1。

async alazy_load() → AsyncIterator[Document]#

文档的懒加载器。

Return type:: AsyncIterator[Document]

async aload() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

get_num_rows() → Tuple[int, int][source]#

获取DataFrame中“可行”行的数量

Return type:: 元组[int, int]

lazy_load() → Iterator[Document][来源]#

文档内容的懒加载器。

Return type:: 迭代器[文档]

load() → List[Document][source]#

从数据框加载。

Return type:: 列表[文档]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:: text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
Returns:: 文档列表。
Return type:: 列表[Document]

使用 PySparkDataFrameLoader 的示例

PySpark