ray.data.datasource.FastFileMetadataProvider#

class ray.data.datasource.FastFileMetadataProvider[源代码]#

基类:DefaultFileMetadataProvider

用于 FileBasedDatasource 实现的快速元数据提供者。

通过跳过目录路径扩展和文件大小收集,提供了比 DefaultFileMetadataProvider 更好的性能。虽然这种性能提升对于本地文件系统可能微不足道,但对于云存储服务提供商来说可能是显著的。

这应该仅在所有输入路径存在且已知为文件时使用。

开发者API: 此API可能会在Ray的次要版本之间发生变化。

方法

__init__