ray.data.datasource.FastFileMetadataProvider#
- class ray.data.datasource.FastFileMetadataProvider[源代码]#
基类:
DefaultFileMetadataProvider
用于
FileBasedDatasource
实现的快速元数据提供者。通过跳过目录路径扩展和文件大小收集,提供了比
DefaultFileMetadataProvider
更好的性能。虽然这种性能提升对于本地文件系统可能微不足道,但对于云存储服务提供商来说可能是显著的。这应该仅在所有输入路径存在且已知为文件时使用。
开发者API: 此API可能会在Ray的次要版本之间发生变化。
方法