ray.data.datasource.BaseFileMetadataProvider#

class ray.data.datasource.BaseFileMetadataProvider[源代码]#

基类:FileMetadataProvider

提供元数据的抽象可调用对象,用于重用基类 prepare_read() 方法的 FileBasedDatasource 实现。

还支持在输入目录路径中进行文件和文件大小的发现。

当前子类:

开发者API: 此API可能会在Ray的次要版本之间发生变化。

方法

__init__

expand_paths

通过遍历目录,将所有路径扩展为具体的文件路径。