ray.data.Dataset.to_spark#
- Dataset.to_spark(spark: pyspark.sql.SparkSession) pyspark.sql.DataFrame[源代码]#
将这个
Dataset转换为 Spark DataFrame。备注
此操作将触发对此数据集执行的延迟转换。
时间复杂度：O(数据集大小 / 并行度)
- 参数:
spark – 一个 SparkSession ，必须由 RayDP（Ray 上的 Spark）创建。
- 返回:
从该数据集创建的 Spark DataFrame。