Skip to main content

谷歌云平台

使用预构建的GCP自定义镜像在Google云平台(GCP)上部署ClearML服务器。ClearML为每个发布的ClearML服务器版本提供了自定义镜像。有关预构建自定义镜像的列表,请参见ClearML Server GCP Custom Image

为了跟踪您的实验和/或数据,clearml 包需要与您部署的服务器进行通信。 有关将 ClearML SDK 连接到服务器的说明,请参阅 入门指南:第一步

info

为了使clearml能够与GCP上的ClearML服务器一起工作,设置CLEARML_API_DEFAULT_REQ_METHOD=PUT或在clearml.conf文件中将api.http.default_method设置为"PUT"

有关在GCP上升级ClearML服务器的信息,请参见此处

Reinstallation

如果正在重新安装ClearML Server,建议清除ClearML Server的浏览器cookie。例如,对于Firefox,请转到开发者工具 > 存储 > Cookies,对于Chrome,请转到开发者工具 > 应用程序 > Cookies,并删除ClearML Server URL下的所有cookie。

默认的ClearML服务器服务端口

部署ClearML服务器后,服务将暴露以下节点端口:

  • Web服务器在8080端口
  • API 服务器在 8008
  • 文件服务器在 8081

默认的ClearML服务器存储路径

持久存储配置:

  • MongoDB: /opt/clearml/data/mongo_4/
  • Elasticsearch: /opt/clearml/data/elastic_7/
  • 文件服务器: /mnt/fileserver/

将自定义镜像导入到您的GCP账户

在使用ClearML Server GCP自定义镜像启动实例之前,请将镜像导入到自定义镜像列表中。

note

不需要上传图像文件。提供了存储在Google Storage中的图像文件的链接。

将图像导入到您的自定义图像列表:

  1. 在云控制台中,转到Images页面。

  2. 在页面顶部,点击创建图像

  3. 名称中,为图像指定一个唯一的名称。

  4. 可选地,为新镜像指定一个镜像系列,或为镜像配置特定的加密设置。

  5. Source菜单中,选择Cloud Storage file

  6. 输入ClearML服务器镜像存储桶路径(参见ClearML Server GCP Custom Image), 例如:allegro-files/clearml-server/clearml-server.tar.gz

  7. 点击创建以导入镜像。根据启动盘镜像的大小,此过程可能需要几分钟。

更多信息请参阅Compute Engine 文档

启动

warning

默认情况下,ClearML Server 启动时具有无限制访问权限。要限制 ClearML Server 的访问权限,请按照安全页面中的说明操作。

要使用GCP自定义镜像启动ClearML服务器,请参阅Google Cloud Storage文档。有关自定义镜像的更多信息,请参阅Compute Engine文档中的自定义镜像

ClearML 服务器的最低要求是:

  • 2 个虚拟CPU
  • 7.5GB 内存

重启

要重新启动ClearML Server Docker部署:

  • 通过执行以下命令停止然后重新启动Docker容器:

    docker-compose -f /opt/clearml/docker-compose.yml down
    docker-compose -f /opt/clearml/docker-compose.yml up -d

备份和恢复数据及配置

warning

在备份或恢复数据和配置之前,请停止您的服务器

本节中的命令是如何备份和恢复数据及配置的示例。

如果数据和配置文件夹位于/opt/clearml,则将所有数据归档到~/clearml_backup_data.tgz,并将配置归档到~/clearml_backup_config.tgz

sudo tar czvf ~/clearml_backup_data.tgz -C /opt/clearml/data .
sudo tar czvf ~/clearml_backup_config.tgz -C /opt/clearml/config .

如果数据和配置需要恢复:

  1. 验证您是否有备份文件。

  2. 用备份数据替换任何现有数据:

    sudo rm -fR /opt/clearml/data/* /opt/clearml/config/*
    sudo tar -xzf ~/clearml_backup_data.tgz -C /opt/clearml/data
    sudo tar -xzf ~/clearml_backup_config.tgz -C /opt/clearml/config
  3. 授予数据访问权限:

    sudo chown -R 1000:1000 /opt/clearml

ClearML Server GCP 自定义镜像

以下部分包含每个发布的ClearML服务器版本的自定义图像URL列表(以不同格式导出)。

最新版本 - v1.13.1

所有发布版本

下一步

为了跟踪您的实验和/或数据,clearml 包需要与您的服务器进行通信。 有关将 ClearML SDK 连接到服务器的说明,请参阅 入门指南:第一步