AWS EC2 AMIs
在AWS上部署ClearML Server可以通过使用AWS AMIs轻松完成,这些AMIs可在AWS社区AMI目录中找到。 默认情况下,ClearML Server社区AMIs配置为无需认证, 以便快速访问和入门。
部署AMI后,配置ClearML服务器实例以提供最符合工作流的认证方案。
有关在AWS实例上升级ClearML服务器的信息,请参见此处。
如果正在重新安装ClearML Server,建议清除ClearML Server的浏览器cookie。例如,对于Firefox,请转到开发者工具 > 存储 > Cookies,对于Chrome,请转到开发者工具 > 应用程序 > Cookies,并删除ClearML Server URL下的所有cookie。
启动
默认情况下,ClearML Server 部署为一个开放网络。要限制 ClearML Server 的访问,请按照 安全 页面中的说明操作。
推荐的最小内存量为8 GB。例如,t3.large
或 t3a.large
EC2 实例类型可以满足推荐的内存大小。
要启动ClearML Server AWS社区AMI,请使用ClearML Server AWS社区AMI之一,并参阅:
- AWS知识中心页面,如何从自定义的Amazon Machine Image (AMI)启动EC2实例?
- AWS文档中的详细说明,用于使用启动实例向导启动实例。
访问 ClearML 服务器
一旦部署,ClearML 服务器将暴露以下服务:
- Web 服务器在
TCP 端口 8080
- API 服务器在
TCP 端口 8008
- 文件服务器在
TCP 端口 8081
定位ClearML服务器地址:
- 前往AWS EC2控制台。
- 在详细信息标签中,公共DNS (IPv4)显示ClearML服务器的地址。
访问ClearML服务器WebApp(用户界面):
- 将浏览器指向其网络服务器URL:
http://
:8080
要SSH进入ClearML服务器:
- 使用默认用户名
ec2-user
登录到 AWS AMI。通过 AWS 管理控制台控制 SSH 凭据。
登录到WebApp (UI)
输入任何名称以登录到ClearML WebApp(UI)。如果需要,修改默认登录行为以匹配工作流程策略, 请参阅配置Web登录认证 在“配置您自己的ClearML服务器”页面上。
存储配置
预构建的ClearML服务器存储配置如下:
- MongoDB:
/opt/clearml/data/mongo_4/
- Elasticsearch:
/opt/clearml/data/elastic_7/
- 文件服务器:
/opt/clearml/data/fileserver/
备份和恢复数据及配置
在备份或恢复数据和配置之前,请停止您的服务器
如果数据在Trains Server和ClearML Server安装之间移动,请确保使用正确的路径进行备份和恢复(分别为/opt/trains
和/opt/clearml
)。
本节中的命令是用于备份和恢复数据及配置的示例。
如果数据和配置文件夹位于/opt/clearml
,则将所有数据归档到~/clearml_backup_data.tgz
,并将配置归档到~/clearml_backup_config.tgz
:
sudo tar czvf ~/clearml_backup_data.tgz -C /opt/clearml/data .
sudo tar czvf ~/clearml_backup_config.tgz -C /opt/clearml/config .
如果数据和配置需要恢复:
-
验证您是否有备份文件。
-
用备份数据替换任何现有数据:
sudo rm -fR /opt/clearml/data/* /opt/clearml/config/*
sudo tar -xzf ~/clearml_backup_data.tgz -C /opt/clearml/data
sudo tar -xzf ~/clearml_backup_config.tgz -C /opt/clearml/config -
授予数据访问权限:
sudo chown -R 1000:1000 /opt/clearml
ClearML Server AWS 社区 AMIs
以下部分包含最新ClearML服务器版本每个区域的AMI镜像ID列表。
最新版本
v2.0.0
- af-south-1 : ami-08a09c37ee67a8890
- ap-east-1 : ami-0e1441e96a36c5b1e
- ap-northeast-1 : ami-0396280fb3103db5b
- ap-northeast-2 : ami-0debccc68a11fbda4
- ap-northeast-3 : ami-092c2a46a6f724357
- ap-south-1 : ami-0bf2b78165336362f
- ap-south-2 : ami-03d5687062ee60cdb
- ap-southeast-1 : ami-08db075cac5d0784c
- ap-southeast-2 : ami-05f9eda027c5fd39f
- ap-southeast-3 : ami-0290df331ef2cd613
- ap-southeast-4 : ami-05f60da502fd0e786
- ap-southeast-5 : ami-0acfcd0ee6dde9b67
- ca-central-1 : ami-037d89da405ce077a
- ca-west-1 : ami-0fafcab2193ab122e
- eu-central-1 : ami-0a32dbec1886efc92
- eu-central-2 : ami-0a009eb3c89f76094
- eu-north-1 : ami-097fc0a160f1167b2
- eu-south-1 : ami-03311467153bb6a36
- eu-south-2 : ami-0c2914dc75d47d03e
- eu-west-1 : ami-02eee33b1e10380e5
- eu-west-2 : ami-069d080cb6a1fda16
- eu-west-3 : ami-004c5d27cfe9ca7a2
- il-central-1 : ami-03cb6cd40ab8a015f
- me-central-1 : ami-06de7b6fab50aacd6
- me-south-1 : ami-0b2bbbff660a06051
- sa-east-1 : ami-0b36127fedeb7a328
- us-east-1 : ami-0635db0627d4d83e6
- us-east-2 : ami-08a8c46eb9907015c
- us-west-1 : ami-0d008037025e788b0
- us-west-2 : ami-091f6b6998367db70
下一步
为了跟踪您的实验和/或数据,clearml
包需要与您的服务器进行通信。
有关将 ClearML SDK 连接到服务器的说明,请参阅 入门指南:第一步。