worker.coordinator.coordinator

任务状态

class ding.worker.coordinator.coordinator.TaskState(task_id: str)

Overview:

任务的状态记录器，包括task_id和start_time。

Interface:

__init__

__init__(task_id: str) → None

Overview:

根据task_id和初始时间初始化任务状态。

协调器

class ding.worker.coordinator.coordinator.Coordinator(cfg: dict)

Overview:

协调器将管理并行任务和数据

Interface:

__init__, start, close, __del__, state_dict, load_state_dict, 处理收集器发送数据, 处理收集器完成任务, 处理学习者获取数据, 处理学习者发送信息, 处理学习者完成任务

Property:

系统关闭标志

__del__() → None

Overview:

__del__ 方法将关闭协调器。

__init__(cfg: dict) → None

Overview:

协调器的初始化方法

Arguments:

• cfg (dict): 用于初始化协调器的配置文件

close() → None

Overview:

Close the coordinator, including closing the interaction thread, the collector learner threads and the

缓冲区。

deal_with_collector_finish_task(task_id: str, finished_task: dict) → None

Overview:

完成收集器任务

Arguments:

• task_id (str): 收集器的任务ID

• finished_task (dict): 已完成的任务

deal_with_collector_send_data(task_id: str, buffer_id: str, data_id: str, data: dict) → None

Overview:

处理从收集器发送的数据

Arguments:

• task_id (str): 收集器的任务ID

• buffer_id (str): 缓冲区ID

• data_id (str): 数据ID

• data (str): 要处理的数据

deal_with_learner_finish_task(task_id: str, finished_task: dict) → None

Overview:

完成学习任务，关闭相应的缓冲区

Arguments:

• task_id (str): 学习者的任务ID

• finished_task (dict): 要完成的任务的字典

deal_with_learner_get_data(task_id: str, buffer_id: str, batch_size: int, cur_learner_iter: int) → List[dict]

Overview:

学习者从缓冲区获取数据

Arguments:

• task_id (str): 学习者的任务ID

• buffer_id (str): 缓冲区ID

• batch_size (int): 采样的批量大小

• cur_learn_iter (int): 当前学习器的迭代次数

deal_with_learner_send_info(task_id: str, buffer_id: str, info: dict) → None

Overview:

学习者发送信息并更新缓冲区中的优先级

Arguments:

• task_id (str): 学习者的任务ID

• buffer_id (str): 要添加信息的缓冲区的buffer_id

• 信息 (dict): 要添加的信息

error(s: str) → None

Overview:

返回错误

Arguments:

• s (str): 要打印的错误信息

info(s: str) → None

Overview:

返回信息

Arguments:

• s (str): 在信息中打印的字符串

load_state_dict(state_dict: dict) → None

Overview:

在加载state_dict时通过。

start() → None

Overview:

启动协调器，包括启动交互线程和收集器学习器线程。

state_dict() → dict

Overview:

返回空的state_dict。

property system_shutdown_flag: bool

Overview:

返回系统是否已关闭

Returns:

• system_shutdown_flag (bool): 系统是否已关闭