ray.data.datasource.ParquetMetadataProvider.预取文件元数据

ParquetMetadataProvider.prefetch_file_metadata(fragments: List[pyarrow.dataset.ParquetFileFragment], **ray_remote_args) → List[_ParquetFileFragmentMetaData] | None

一次性预取所有 Parquet 文件片段的文件元数据。

返回的元数据子集将与它们对应的 Parquet 文件片段一起作为输入提供给后续对 _get_block_metadata 的调用。

参数:

fragments – 要获取元数据的 Parquet 文件片段。

返回:

每个输入文件片段解析的元数据，或 None。元数据必须以与所有输入文件片段相同的顺序返回，使得 metadata[i] 始终包含 fragments[i] 的元数据。