Skip to main content

在Google Colab上使用ClearML代理

Google Colab 是数据科学家常用的开发环境。它支持便捷的IDE以及由Google提供的计算资源。

用户可以使用ClearML Agent将Google Colab实例转换为ClearML中的可用资源。

本教程介绍了如何在Google Colab笔记本中创建一个ClearML工作节点。一旦工作节点启动并运行，用户就可以发送任务在Google Colab的硬件上执行。

先决条件​

  • Register ClearML (or deployed server).
  • 拥有一个Google账户以访问Google Colab。

步骤​

  1. 打开这个Google Colab笔记本。

  2. 运行第一个单元格，它将安装所有必要的包：

    !pip install git+https://github.com/allegroai/clearml
    !pip install clearml-agent

  3. 运行第二个单元格，它导出这个环境变量：

    ! export MPLBACKEND=TkAg

    此环境变量使Matplotlib在无头模式下工作，因此它不会将图形输出到屏幕。

  4. 创建新的凭证。前往您的设置页面 > 工作区部分。 在应用凭证下，点击+ 创建新凭证，并复制弹出的信息。

  5. 设置凭证。在第三个单元格中，输入您自己的凭证：

    from clearml import Task

    Task.set_credentials(
         api_host="https://api.clear.ml", 
         web_host="https://app.clear.ml", 
         files_host="https://files.clear.ml", 
         key='6ZHX9UQMYL874A1NE8', 
         secret='=2h6#%@Y&m*tC!VLEXq&JI7QhZPKuJfbaYD4!uUk(t7=9ENv'
    )

  6. 在第四个单元格中，启动一个clearml-agent，它将监听default队列：

    !clearml-agent daemon --queue default

    有关运行clearml-agent的更多选项，请参阅clearml-agent参考。

    执行单元格4后，工作器会出现在你服务器的编排页面中。克隆实验并将它们排队到你满意为止！clearml-agent将获取实验并使用Google Colab硬件执行它们。