谷歌云平台
使用预构建的GCP自定义镜像在Google云平台(GCP)上部署ClearML服务器。ClearML为每个发布的ClearML服务器版本提供了自定义镜像。有关预构建自定义镜像的列表,请参见ClearML Server GCP Custom Image。
为了跟踪您的实验和/或数据,clearml
包需要与您部署的服务器进行通信。
有关将 ClearML SDK 连接到服务器的说明,请参阅 入门指南:第一步。
为了使clearml
能够与GCP上的ClearML服务器一起工作,设置CLEARML_API_DEFAULT_REQ_METHOD=PUT
或在clearml.conf
文件中将api.http.default_method
设置为"PUT"
。
有关在GCP上升级ClearML服务器的信息,请参见此处。
如果正在重新安装ClearML Server,建议清除ClearML Server的浏览器cookie。例如,对于Firefox,请转到开发者工具 > 存储 > Cookies,对于Chrome,请转到开发者工具 > 应用程序 > Cookies,并删除ClearML Server URL下的所有cookie。
默认的ClearML服务器服务端口
部署ClearML服务器后,服务将暴露以下节点端口:
- Web服务器在
8080
端口 - API 服务器在
8008
- 文件服务器在
8081
默认的ClearML服务器存储路径
持久存储配置:
- MongoDB:
/opt/clearml/data/mongo_4/
- Elasticsearch:
/opt/clearml/data/elastic_7/
- 文件服务器:
/mnt/fileserver/
将自定义镜像导入到您的GCP账户
在使用ClearML Server GCP自定义镜像启动实例之前,请将镜像导入到自定义镜像列表中。
不需要上传图像文件。提供了存储在Google Storage中的图像文件的链接。
将图像导入到您的自定义图像列表:
-
在云控制台中,转到Images页面。
-
在页面顶部,点击创建图像。
-
在名称中,为图像指定一个唯一的名称。
-
可选地,为新镜像指定一个镜像系列,或为镜像配置特定的加密设置。
-
在Source菜单中,选择Cloud Storage file。
-
输入ClearML服务器镜像存储桶路径(参见ClearML Server GCP Custom Image), 例如:
allegro-files/clearml-server/clearml-server.tar.gz
。 -
点击创建以导入镜像。根据启动盘镜像的大小,此过程可能需要几分钟。
更多信息请参阅Compute Engine 文档。
启动
默认情况下,ClearML Server 启动时具有无限制访问权限。要限制 ClearML Server 的访问权限,请按照安全页面中的说明操作。
要使用GCP自定义镜像启动ClearML服务器,请参阅Google Cloud Storage文档。有关自定义镜像的更多信息,请参阅Compute Engine文档中的自定义镜像。
ClearML 服务器的最低要求是:
- 2 个虚拟CPU
- 7.5GB 内存
重启
要重新启动ClearML Server Docker部署:
-
通过执行以下命令停止然后重新启动Docker容器:
docker-compose -f /opt/clearml/docker-compose.yml down
docker-compose -f /opt/clearml/docker-compose.yml up -d
备份和恢复数据及配置
在备份或恢复数据和配置之前,请停止您的服务器
本节中的命令是如何备份和恢复数据及配置的示例。
如果数据和配置文件夹位于/opt/clearml
,则将所有数据归档到~/clearml_backup_data.tgz
,并将配置归档到~/clearml_backup_config.tgz
:
sudo tar czvf ~/clearml_backup_data.tgz -C /opt/clearml/data .
sudo tar czvf ~/clearml_backup_config.tgz -C /opt/clearml/config .
如果数据和配置需要恢复:
-
验证您是否有备份文件。
-
用备份数据替换任何现有数据:
sudo rm -fR /opt/clearml/data/* /opt/clearml/config/*
sudo tar -xzf ~/clearml_backup_data.tgz -C /opt/clearml/data
sudo tar -xzf ~/clearml_backup_config.tgz -C /opt/clearml/config -
授予数据访问权限:
sudo chown -R 1000:1000 /opt/clearml
ClearML Server GCP 自定义镜像
以下部分包含每个发布的ClearML服务器版本的自定义图像URL列表(以不同格式导出)。
最新版本 - v1.13.1
所有发布版本
- v1.13.1 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-13-0.tar.gz
- v1.13.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-13-0.tar.gz
- v1.12.1 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-12-1.tar.gz
- v1.12.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-12-0.tar.gz
- v1.11.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-11-0.tar.gz
- v1.9.2 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-9-1.tar.gz
- v1.9.1 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-9-1.tar.gz
- v1.9.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-9-0.tar.gz
- v1.8.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-8-0.tar.gz
- v1.6.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-6-0.tar.gz
- v1.5.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-5-0.tar.gz
- v1.4.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-4-0.tar.gz
- v1.3.1 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-3-1.tar.gz
- v1.3.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-3-0.tar.gz
- v1.2.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-2-0.tar.gz
- v1.1.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-1-0.tar.gz
- v1.0.2 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-0-2.tar.gz
- v1.0.1 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-0-1.tar.gz
- v1.0.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-1-0-0.tar.gz
- v0.17.0 - https://storage.googleapis.com/allegro-files/clearml-server/clearml-server-0-17-0.tar.gz
下一步
为了跟踪您的实验和/或数据,clearml
包需要与您的服务器进行通信。
有关将 ClearML SDK 连接到服务器的说明,请参阅 入门指南:第一步。