模式：使用一个监督者角色来管理角色树#

Actor 监督是一种模式，其中监督者 Actor 管理一组工作 Actor。监督者将任务委托给下属并处理它们的失败。这种模式简化了驱动程序，因为它只管理少数监督者，并且不直接处理工作 Actor 的失败。此外，多个监督者可以并行工作以并行化更多工作。

../../_images/tree-of-actors.svg

演员树#

备注

  • 如果监督者死亡（或驱动程序），工作角色会由于角色引用计数而自动终止。

  • 演员可以嵌套到多个层次，以形成一棵树。

示例用例#

您希望进行数据并行训练，并使用不同的超参数并行训练相同的模型。对于每个超参数，您可以启动一个监督者角色来进行协调，它将创建工作角色来对每个数据分片进行实际训练。

备注

对于数据并行训练和超参数调优，建议使用 Ray Train (DataParallelTrainer 和 Ray Tune’s Tuner)，它在底层应用了这种模式。

代码示例#

import ray


@ray.remote(num_cpus=1)
class Trainer:
    def __init__(self, hyperparameter, data):
        self.hyperparameter = hyperparameter
        self.data = data

    # Train the model on the given training data shard.
    def fit(self):
        return self.data * self.hyperparameter


@ray.remote(num_cpus=1)
class Supervisor:
    def __init__(self, hyperparameter, data):
        self.trainers = [Trainer.remote(hyperparameter, d) for d in data]

    def fit(self):
        # Train with different data shard in parallel.
        return ray.get([trainer.fit.remote() for trainer in self.trainers])


data = [1, 2, 3]
supervisor1 = Supervisor.remote(1, data)
supervisor2 = Supervisor.remote(2, data)
# Train with different hyperparameters in parallel.
model1 = supervisor1.fit.remote()
model2 = supervisor2.fit.remote()
assert ray.get(model1) == [1, 2, 3]
assert ray.get(model2) == [2, 4, 6]