Skip to main content

编排

通过编排页面，您可以：

  • 使用云自动扩展应用程序来定义您的计算资源预算，并让应用程序根据需要自动管理您的资源消耗——无需编写代码（适用于ClearML Pro计划）
  • 监控由实验/任务执行的工作者所使用的资源（CPU和GPU、内存、显存和网络使用情况）
  • 查看工作者及其监听的队列
  • 管理工作队列
    • 创建和重命名队列
    • 删除空队列
    • 监控队列利用率
    • 重新排序、移动和从队列中移除实验
  • 监控所有可用和正在使用的计算资源（适用于ClearML企业版计划。参见编排仪表板）
  • 设置用户组资源配额和预留，以在可用资源之间实现工作负载优先级（在ClearML企业版计划中可用。参见资源策略）

自动扩展器​

Pro Plan Offering

ClearML Autoscaler 应用程序可在 ClearML Pro 计划下使用。

使用AUTOSCALERS选项卡访问ClearML的云自动扩展应用程序：

  • AWS自动扩展器
  • GCP 自动扩展器

自动扩展器根据您设置的预算自动启动或关闭云实例，因此您只需为实际使用机器的时间付费。

AWS 和 GCP 自动扩展应用程序将代表您管理云账户中的实例。在启动应用程序实例时，您需要提供云服务凭证，以便自动扩展程序可以访问您的账户。

一旦你启动了一个自动扩展器应用实例，你就可以在实例的仪表板中监控自动扩展器的活动和你的云使用情况。

有关自动扩展器如何工作的更多信息，请参阅云自动扩展概述。 有关特定自动扩展器的更多信息，请参阅AWS 自动扩展器 和/或GCP 自动扩展器。

云自动扩展器

工作人员​

使用WORKERS标签来跟踪工作者的活动并监控工作者的利用率。 该页面显示了一个工作者活动图和一个工作者详细信息表。图表的时间跨度可以通过其右上角的菜单进行控制。将鼠标悬停在任何绘图点上以查看其数据。默认情况下，WORKER UTILIZATION图表显示随时间变化的活跃工作者和总工作者的数量。

工作者表显示了当前可用的工作者及其当前的执行信息：

  • 当前正在运行的实验
  • Current Execution Time
  • Training iterations.

点击一个工作者将打开该工作者的详细信息面板，并用该工作者的资源利用率信息替换图表。可以通过图表左上角的菜单选择要监控的资源指标：

  • CPU 和 GPU 使用情况
  • Memory Usage
  • Video Memory Usage
  • 网络使用情况。

工人的详细信息面板包括以下两个选项卡：

  • INFO - 工作节点信息:
    • 工作节点名称
    • 更新时间 - 工作节点最后一次报告数据的时间
    • 当前实验 - 工作节点当前正在执行的实验
    • 实验运行时间 - 当前执行的实验已经运行了多长时间
    • 实验迭代 - 实验最后一次报告的训练迭代
  • QUEUES - 关于工作者被分配的队列的信息：
    • Queue - 队列的名称
    • Next experiment - 此队列中可用的下一个实验
    • In Queue - 当前在队列中的实验数量

工人管理

队列​

使用QUEUES选项卡来管理队列并监控其统计数据。该页面显示了平均实验等待时间和排队实验数量的图表，以及一个队列详细信息表。将鼠标悬停在任何绘图点上以查看其数据。默认情况下，图表显示所有队列的总体信息。

队列表显示以下队列信息：

  • 队列 - 队列名称
  • Workers - 服务队列的工作线程数量
  • 下一个实验 - 此队列中可用的下一个实验
  • 最后更新时间 - 队列内容最后一次被修改的时间
  • 排队中 - 当前在队列中排队的实验数量

要创建一个新队列 - 点击+ 新建队列（左上角）。

将鼠标悬停在一个队列上并点击 Copy 以复制队列的ID。

图片

右键点击队列或将鼠标悬停并点击其操作按钮 Dot menu 以访问队列操作：

队列上下文菜单

  • 删除 - 删除队列。任何待处理的任务将被出队。
  • 重命名 - 更改队列的名称
  • 清除 - 从队列中移除所有待处理的任务
Enterprise Feature

ClearML企业服务器提供了一种机制来定义您自己的自定义操作，这些操作将出现在上下文菜单中。通过定义点击上下文菜单操作时发出的HTTP请求来创建自定义操作。有关更多信息，请参阅自定义UI上下文菜单操作。

点击队列将打开队列的详细信息面板，并用该队列的统计信息替换图表。

队列的详细信息面板包括以下两个选项卡：

  • 实验 - 队列中的实验列表。您可以重新排序和移除已排队的实验。参见 控制队列内容.
  • WORKERS - 分配给队列的工作者信息：
    • 名称 - 工作者名称
    • IP - 工作者的IP地址
    • 当前执行 - 工作者当前正在执行的实验

控制队列内容​

点击实验的菜单按钮 Dot menu 在实验标签中重新组织您的队列：

<img alt="队列实验的菜单" class="img_ev3q" decoding="async" height="230" loading="lazy" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAOYAAADmCAIAAABOCG7sAAAAA3NCSVQICAjb4U/gAAAAGXRFWHRTb2Z0d2FyZQBnbm9tZS1zY3JlZW5zaG907wO/PgAAGjhJREFUeJzt3Xk81PkfB/D3d5iMu1IhZ0mX1SZW2dJB13bqWB1bOrZ0qt12k0qH/W23EipFtUn3gZJNhIQoJl3KRkRIJbkNw8zvj6+mWTlmLMaH93N7tPP9+Hy/8/H16uPz/RrzprprfwMIkYMh6QEgJB6MLCIMRhYRBiOLCIORRYTByCLCYGQRYTCyiDAYWUQYjCwijJSicjdJjwG1BYoG81esXTNhsE5p0oOs0mZ8IpxlUZNQNhw5WkOeKdvNZLhZr2Z9JowsahKlWRnZlQDAK8h6nd2sz0ThK7lQE5Hr1qd/5+LkpKyCZn0ajCwiDF5+oaaBl1+ILHj5hQiDl1+IPHj5hVBt8PILNQ28/EJkwcsvRBi8/ELkwcsvhGqDCwNEGIwsIgxGFhEGI4sIg5FFhMHIIsJgZBFhMLKIMBhZRBiMLCIMRhYRBiOLCCPdrZuqpMeAkBik379/J+kxICQGXBggwmBkEWGkm+g4/CY6DmpXqEbs818i+yWmfEwsEh9FCedG1Pg2LrJ8AOikoi2v1IXBaKp5GrVTPF5lSWHup48ZACBKcBsROD6fD527aJdzSl4+C+dyOeIfAaEvmEyWTi/TTiraebkZFMVvMLXiXn7x6TWAvFKX9JQHmFf033G5nPSUB/JKXaB6hdnAKrNxdwz4DIY15hU1FS6Xw2BIi3gRL1Zk+XiZhZpbgxNtI2ZZPt7RQs1ChFUBNG5hgJlFzUHEXOFPvxBhRI8sLmRRC6l/OYuzLCIMRhYRRvzI4vIANR8R0oWzLCIMRhYRRjKvw5r/83qDAYNrNFZVVh5z25KRniyRISFSSCayJoMtBhoP+7rd75Jng5F19wwcaDw0Njpk/ZofBY1MZoeA2ynyCkp/ee4+eWx3Ew8XtSaSieyvyyfJsFg1GnlVvPLyMhGPYDJ4pJJSp8LCT/Tm4O8t5RWUmnKIQhYsWb9kxeal80clPU9ojv5ILJJZy/J4VWWlJWWlJUbG5uscXCq53LLSEtHzyq0ol5ZmDreYJGgZNWYat6K8eQaLWhdJXn71MzDettt77MQ59lsOibXjx9x3r1OTLMZOpzc7dGANGzEhPi5CuI/FmGk+l2NDY3JOXYgeNnICAOj3MYxk59ut20l32LT9SCQ7X01di6Ko+Yt/8735IiT67f7DvhqaPYSPs2v/uSUrNgOAl0/40pWO9HHcPG+ERL+9+nfi/EXrKIpqRH+rmYsj2fl2v+26dP3xrchMxz+OysjU/LaDaiWxyKpr6Ow6eJnFkgOAsRPnLF7hKPq+HVis0GC/QSbmyh1VAGDI0NFycgpRd/4WdDAbOtZp919cboXPSReKwdjpfNbIeFjyP0+zs16bmlnQfUxMR/7z4lHO2zcLltjbrtryMC7i0tnDffsb7XG9yGB8OS3nfdzCQvwAwPPw/0KDfbt0VXM7dkO3R58LPm6vkp/Zrt66cOkG4bGJ1d9s6Jiz3gfvht0YN3G27eqtjTiN7ZBkIquk1Gmvu1+nzl0FLQuWbPhhyjwRd5eRkQ0L9pWSkh5pOQUALMZO//Au+2XSY0GHOQvWlJdz1q+xPuW1Z8Na68pK7hwbOwC4G35Dt2ffrqrddXr06araPSIsQFqaaT13xcO4uwf3bTjv437O21VHt3effkaCQz15FJua8hwA4mLDUlOeT562UEFRee+OtSeO7tq47qe0V0nWc1dISzMb19/Dbdu1q3/t2Lb8TXrK2B++XE2iekgmshudjmnr6NdoXO/o3qvPAFF2l5FhZaQnJ//z1GLMNBkZ1lDz8aEhvkymjKCDnr7B69Skj7k5AJDz9k1mRmqv3gMAICIsAABMh1h8N3gUANwNC1BT11JU6jjou+E376TfvJO+3G47AKiqa9b11Hr6BgDAfhABAFVVlQnsSAVFZTV1rcb1r6qqoh8kvUjo2KlL811BtiWSuWNw7cqJR+woAFi4bKOcnEJE6LXEJw94vKqc7HRRdpeWZjIYUqHBV21XbZlkZcOSlQu9dbXG17uykvv1jolPHuR+yDE1s2SxZNPT/kl//VKnRx8AiI0OOeftKuj2Ou2f+gdQVVklyjhF7y8lJQ2Av1wvEsnMsrHRty6ecbt4xo1TVgIA8ffDLp5xu3zucHGRqLUkKYoKDfZlMKSWrd6W+SY16XmC8GVQavJzPf1vFJU6AoCqmqamds+U5KcAwOfzoyICTQaPNDI2p2fcnOx0DqdMR7f3i0R2AjvqccI9LrfiU94H4eeiX3ZJHz81JREABhoPBQApKemBg4YWFxXkvH3TuP5y8goAwGBIGRh+l/fxXUlJkdinsv0h+Ae2OdkZz5/Fy8rJhwX71vjQeR93FkvW9WjAIluHvW6XpaWZF3yqb0pEhAUoKXWSlZOnI1tezvG75KWuoeNyxN/m59/dPAP3H/aVl1cUPlruh7cAsMh2g9mwcQF+3iXFhY5/HF260nHXgbM9e/W/cuFojRld9P5rftu13G6786ErqmqaQTcuNM95amskHNmsN6mlpcUf3mU1bvfQW1cFfwu7FxnktHlJhw4d5i/6lQJqq8PCh3F36Q8lxEcVFOTlvH0juFw76r79uMeOrqoaC5esl5WV27LepsZsF37b/2HcXSOT4X36fvvh/du1y6dkpKfMmre6V+8BJ4/t/stzT41nF71/RFjACIvJ3xia3rxx/vjRnY07Ce2N6GWXP/9WAp/PB76u/pDY8L+acVxtndXMxb9tPLDhl9n3IoMkPZZWYcioRa+TYymggKIAqv+qtSfBCwPUPmFkEWHwTeAkw//KSf8rJyU9CiLhLIsIg5FFhMHIIsKIWkSJvsXF5/OBz+fzec08KtQede3SlaIYQFFU9X2u2m9yiV5E6V/3ZeU76TXROBGq9iH3A96XRW0QRhYRBiOLCIORRYTByCLCYGQRYTCyiDAYWUQYjCwiDEYWEQYjiwiDkUWEwcgiwmBkEWEwsogwGFlEGIwsIgxGFhEGI4sII+HILrTduHXHyR56/SU7DEQQCUd26syfLcf/aDhwiOi7uHsGRrLz97ldFm5kMjsERWREsvMXL3No6jGK7VrIy+Nn7kh6FG0WqQsDuu6XYLO5635FsvP79jdquGujHPS4FhKVXdcmqkEykVVU6qito6+to0+/4XpnFVVtHX0NrZ51/ep6DVj3qz2TTGT/dD7n4/vQx/chXQVp0bJNPr4Pz/k/HmQ6UpTdW3PdL5qMDGuz09GgiIxzvvFmw8bRjQyG1OJlDn5BSSFR2S5H/HV79gWAoIgMY9MRLFm5SHa+yeCRNTZr3QUAroW89DwdunWHV2B42rWQl5OnLfhxzvJrwf8ERWTYO7oKF4FqeyTzubk7bygtLa7RGHrrysMHd0TZvTXX/aLp9uzbtZv6dd9Typ1Uduw73VW1OwAst9u2yNbh+bP4i2cP9+737SGvQGXlzrucVqW+esGtKN++6efU5Oc1NmvdhX6KfgbG+Z8+HnN3ooCyd3SdZGXj4bYtgR09edqCERZTRP5SkEcykU15+XTr+nlVVZWClicJ93ZtX84XrSRLa677RcvKTFu3avoR160H99gzO8iMspwqI8OaZr30ZdLjLfY2xz12HNj9u3JHlQlTfooIC/j08X1VVVXorat5ee+FN0tKCmvd5fM5fObm7HDd91RI0BUAcN23IejGhWOHnABAv69ItagIJbHvIHGxoft3rqUfZ6Qnb143W/TFaOuv+1VcVMDjVQFA4tM4AOiu2UNDqyeLJfswPpLH4wFA/P07ANCrj2E9n2b9uwj+wdNVfYqK8gGAwykFgBrlSdoYSb4lcqD/aTV1ncnTF26wmy6o+S0K4up+1T+qJt+lbZPwOv2Ex/+sJxpkZ70Wd8fWXPcLABQUlRkMKQDoZzAIADIzUrMz08rLOUbGw+gOJqYjACDl5bPq4wsNXrBZzy7tmWRmWVs7JwND0xqNVVWVB/f8lvH6pYgHoet+9f/GJOx8LXW/9hy84Ho0IPJO4MjRU2vU/bKa+TN8XiTQdb/m2KxxOeIfEx1iamap38dw+vh+wnWUBHW8/C6fDPDztp67kv6H0O9j2LNX/1Nee76eCDU0e7gc8XuR+HCS1fzycs6dUH8Op8zv8vHZ81bvOnD+VfKzadZL6PJdAJD7IYfFkv11wz7/KyfSXiUJb9a1S3smmVm2n4HxQONhNf4YmZh37NRFrOO0zrpfABAbHfLuXdbUGYuKCvM3/z4v90MOAHi4bvM+vq+fgdGseatfJSeuXTY5/1MuAFw44/4mPWX8pDkqXdRqbNa1S3uGdb9Qq4B1v1CbhJFFhMHIIsJgZBFhRC2iRN/i4vP5wOfz+bxmHhVqj7p26UpRDKAoqvo+V+03uUQvovSv+7LynfSaaJwIVfuQ+wHvy6I2CCOLCCN+ZHF5gJqPiLnCn34hwoi+MMCFLGoh9S9ncZZFhMHIIsJIJnJt4PN6gwGDazRWVVYec9uSkZ4skSEhUkgmsiaDLQYaD/u63e+SZ4ORdfcMHGg8NDY6ZP2aHwWN9HvA6QdMZoeA2ynyCkp/ee4+eWx3Ew8XtSaSieyvyyfJsFg1GnlVvPLyMhGPYDJ4pJJSp8LCT/Tm4O8t5RWUmnKIQhYsWb9kxeal80clPU9ojv5ILJJZy/J4VWWlJWWlJUbG5uscXCq53LLSEtHzyq0ol5ZmDreYJGgZNWYat6K8eQaLWhdJXn71MzDettt77MQ59lsOibXjx9x3r1OTLMZOpzc7dGANGzEhPi5CuI/FmGk+l2NDY3JOXYgeNnICAOj3MYxk59ut20l32LT9SCQ7X01di6Ko+Yt/8735IiT67f7DvhqaPYSPs2v/uSUrNgOAl0/40pWO9HHcPG+ERL+9+nfi/EXrKIpqRH+rmYsj2fl2v+26dP3xrchMxz+OysjU/LaDaiWxyKpr6Ow6eJnFkgOAsRPnLF7hKPq+HVis0GC/QSbmyh1VAGDI0NFycgpRd/4WdDAbOtZp919cboXPSReKwdjpfNbIeFjyP0+zs16bmlnQfUxMR/7z4lHO2zcLltjbrtryMC7i0tnDffsb7XG9yGB8OS3nfdzCQvwAwPPw/0KDfbt0VXM7dkO3R58LPm6vkp/Zrt66cOkG4bGJ1d9s6Jiz3gfvht0YN3G27eqtjTiN7ZBkIquk1Gmvu1+nzl0FLQuWbPhhyjwRd5eRkQ0L9pWSkh5pOQUALMZO//Au+2XSY0GHOQvWlJdz1q+xPuW1Z8Na68pK7hwbOwC4G35Dt2ffrqrddXr06araPSIsQFqaaT13xcO4uwf3bTjv437O21VHt3effkaCQz15FJua8hwA4mLDUlOeT562UEFRee+OtSeO7tq47qe0V0nWc1dISzMb19/Dbdu1q3/t2Lb8TXrK2B++XE2iekgmshudjmnr6NdoXO/o3qvPAFF2l5FhZaQnJ//z1GLMNBkZ1lDz8aEhvkymjKCDnr7B69Skj7k5AJDz9k1mRmqv3gMAICIsAABMh1h8N3gUANwNC1BT11JU6jjou+E376TfvJO+3G47AKiqa9b11Hr6BgDAfhABAFVVlQnsSAVFZTV1rcb1r6qqoh8kvUjo2KlL811BtiWSuWNw7cqJR+woAFi4bKOcnEJE6LXEJw94vKqc7HRRdpeWZjIYUqHBV21XbZlkZcOSlQu9dbXG17uykvv1jolPHuR+yDE1s2SxZNPT/kl//VKnRx8AiI0OOeftKuj2Ou2f+gdQVVklyjhF7y8lJQ2Av1wvEsn

  • 将任务移动到队列的顶部或底部
  • 将任务移动到不同的队列
  • Dequeue Task

您还可以通过将实验拖动到队列中的新位置来重新排列队列中的实验。