ray.data.datasource.FilenameProvider.get_filename_for_row#
- FilenameProvider.get_filename_for_row(row: Dict[str, Any], task_index: int, block_index: int, row_index: int) str [源代码]#
为一行生成一个文件名。
备注
对于给定的任务、区块和行索引,文件名必须是唯一的且确定的。
一个块由多行组成,每行对应一个输出文件。每个任务可能产生不同数量的块,每个块可能包含不同数量的行。
小技巧
如果你需要一个全局数据集的连续行索引,请使用
iter_rows()
。此方法是单线程的,不推荐用于大型数据集。- 参数:
row – 将要写入文件的行。
task_index – 写作任务的索引。
block_index – 写任务中块的*内部*索引。
row_index – 块内行的索引。