ray.data.datasource.BaseFileMetadataProvider.expand_paths

BaseFileMetadataProvider.expand_paths(paths: List[str], filesystem: pyarrow.fs.FileSystem | None, partitioning: Partitioning | None = None, ignore_missing_paths: bool = False) → Iterator[Tuple[str, int]]

通过遍历目录，将所有路径扩展为具体的文件路径。

同时返回一个文件大小的附带信息。

在调用之前，输入路径必须进行规范化处理，以确保与输入文件系统的兼容性。

参数:

• paths – 与给定文件系统兼容的文件和/或目录路径列表。

• filesystem – 用于扩展所有路径并读取其文件的文件系统实现。

• ignore_missing_paths – 如果为 True，则忽略 paths 中未找到的任何文件路径。默认为 False。

返回:

一个 (文件路径, 文件大小) 对的迭代器。如果文件大小未知或将在稍后由 _get_block_metadata() 获取，则可以返回 None，但两个列表的长度必须相等。