ray.data.datasource.PathPartitionFilter#

class ray.data.datasource.PathPartitionFilter(path_partition_parser: PathPartitionParser, filter_fn: Callable[[Dict[str, str]], bool])[源代码]#

基类：object

基于路径的分区格式的分区过滤器。

用于根据自定义过滤函数显式保留或拒绝文件，该函数以从文件路径解析的分区键和值作为输入。

PublicAPI (测试版): 此API目前处于测试阶段，在成为稳定版本之前可能会发生变化。

方法

__init__

基于解析器创建一个新的基于路径的分区过滤器。

of

使用扁平化的参数列表创建一个基于路径的分区过滤器。

属性

parser

返回此过滤器的路径分区解析器。