ray.data.datasource.FilenameProvider.get_filename_for_row#

FilenameProvider.get_filename_for_row(row: Dict[str, Any], task_index: int, block_index: int, row_index: int) str[源代码]#

为一行生成一个文件名。

备注

对于给定的任务、区块和行索引,文件名必须是唯一的且确定的。

一个块由多行组成,每行对应一个输出文件。每个任务可能产生不同数量的块,每个块可能包含不同数量的行。

小技巧

如果你需要一个全局数据集的连续行索引,请使用 iter_rows()。此方法是单线程的,不推荐用于大型数据集。

参数:
  • row – 将要写入文件的行。

  • task_index – 写作任务的索引。

  • block_index – 写任务中块的*内部*索引。

  • row_index – 块内行的索引。