高级主题#
跳过检查点#
Ray Workflows 通过检查点提供强大的容错能力和精确一次执行语义。然而,检查点可能会耗费时间,尤其是在工作流任务有大量输入和输出的情况下。当不需要精确一次执行语义时,您可以跳过一些检查点以加快工作流的速度。
可以通过指定 checkpoint=False
来跳过检查点:
import ray
from ray import workflow
@ray.remote
def read_data(num: int):
return [i for i in range(num)]
data = read_data.options(**workflow.options(checkpoint=False)).bind(10)
此示例跳过了对 read_data
输出进行检查点操作。在恢复期间,如果恢复需要其输出,read_data
将被再次执行。
如果一个任务的输出是另一个任务(即,用于动态工作流),我们跳过对该任务的整个检查点。