Ray 工作流:持久化的 Ray 任务图#
警告
Ray Workflows 在 Ray 2.0+ 中以 alpha 版本提供。预计会有一些不完善之处,其API和存储格式可能会发生变化。请在GitHub Issues上提交功能请求和错误报告,或加入 Ray Slack 进行讨论。
Ray Workflows 使用 Ray 任务作为底层执行引擎,实现了高性能的、*持久*的应用工作流。它使得基于任务的 Ray 作业即使在集群整体故障的情况下也能无缝恢复执行。
为什么选择 Ray 工作流?#
灵活性: 结合 Ray 动态任务图的灵活性与强大的持久性保证。根据运行时数据有条件地分支或循环。在工作流任务中无缝使用 Ray 分布式库。
性能: Ray Workflows 提供任务启动的亚秒级开销,并支持包含数十万个任务的工作流。利用 Ray 对象存储在任务之间传递分布式数据集,实现零拷贝开销。
你可能会发现,与 AirFlow 这样的引擎相比,Ray Workflows 是 更低层次 的。这是因为 Ray Workflows 更专注于核心持久性原语,而不是工具和集成。