设置
安装
如果之前已经配置了ClearML,请按照此添加ClearML Agent的特定配置
要安装ClearML Agent,请执行
pip install clearml-agent
将ClearML代理安装为系统Python包,而不是在Python虚拟环境中。 在虚拟环境模式或Conda环境模式下运行的代理需要创建虚拟环境,而当它从虚拟环境中运行时无法做到这一点。
配置
-
在终端会话中,执行
clearml-agent init
设置向导会提示输入ClearML凭据(有关获取凭据的信息,请参见此处)。
Please create new clearml credentials through the settings page in your `clearml-server` web app,
or create a free account at https://app.clear.ml/settings/webapp-configuration
In the settings > workspace page, press "Create new credentials", then press "Copy to clipboard".
Paste copied configuration here:如果设置向导的响应表明配置文件已经存在,请按照此处的说明操作。 向导不会编辑或覆盖现有的配置文件。
-
在命令提示符
Paste copied configuration here:
处,复制并粘贴ClearML凭据,然后按Enter键。 设置向导将确认凭据。Detected credentials key="********************" secret="*******"
-
输入以接受默认服务器URL,该URL是从凭据中检测到的,或输入一个ClearML网络服务器URL。
必须使用安全的协议,https。不要使用http。
WEB Host configured to: [https://app.clear.ml]
note如果您使用的是自托管的ClearML服务器,默认URL将使用您的域名。
-
对于API、URL和文件服务器,执行上述操作。
-
向导会响应您的配置:
CLEARML Hosts configuration:
Web App: https://app.clear.ml
API: https://api.clear.ml
File Store: https://files.clear.ml
Verifying credentials ...
Credentials verified! -
输入默认的输出URI。模型检查点(快照)和任务工件将存储在此输出位置。
Default Output URI (used to automatically store models and artifacts): (N)one/ClearML (S)erver/(C)ustom [None]
-
输入您的 Git 用户名和密码。如果使用 SSH 密钥认证或仅使用公共仓库,请留空。
这是代理克隆存储库所需的。
Enter git username for repository cloning (leave blank for SSH key authentication): []
Enter password for user '<username>':设置向导确认您的git凭据。
Git repository cloning will be using user=<username> password=<password>
-
输入额外的工件仓库,如果不需要,请按Enter。
这是为了安装不在pypi中的Python包。
Enter additional artifact repository (extra-index-url) to use when installing python packages (leave blank if not required):
安装向导完成。
New configuration stored in /home/<username>/clearml.conf
CLEARML-AGENT setup completed successfully.配置文件的位置取决于操作系统:
- Linux -
~/clearml.conf
- Mac -
$HOME/clearml.conf
- Windows -
\User\<username>\clearml.conf
- Linux -
-
可选地,为ClearML Agent配置ClearML选项(默认的docker、包管理器等)。请参阅ClearML配置参考 和ClearML Agent环境变量参考。
ClearML 企业服务器提供了一个配置保险库,其内容会分类应用于代理本地配置之上。
将ClearML Agent添加到配置文件
如果已经存在一个clearml.conf
文件,请向其中添加一些ClearML Agent特定的配置。
将ClearML代理添加到ClearML配置文件中:
-
打开ClearML配置文件进行编辑。根据操作系统的不同,它位于:
- Linux -
~/clearml.conf
- Mac -
$HOME/clearml.conf
- Windows -
\User\<username>\clearml.conf
- Linux -
-
在
api
部分之后,添加您的agent
部分。例如:agent {
# Set GIT user/pass credentials (if user/pass are set, GIT protocol will be set to https)
git_user=""
git_pass=""
# all other domains will use public access (no user/pass). Default: always send user/pass for any VCS domain
git_host=""
# Force GIT protocol to use SSH regardless of the git url (Assumes GIT user/pass are blank)
force_git_ssh_protocol: false
# unique name of this worker, if None, created based on hostname:process_id
# Overridden with os environment: CLEARML_WORKER_NAME
worker_id: ""
}查看完整的ClearML Agent配置文件示例,包括
agent
部分这里。 -
保存配置。
动态环境变量
动态ClearML代理环境变量可用于覆盖出现在clearml.conf
的agent
部分中的任何配置设置。
环境变量的名称应为CLEARML_AGENT__AGENT__
,其中
表示要设置的配置字段的完整路径。配置路径的元素应通过__
(双下划线)分隔。例如,设置CLEARML_AGENT__AGENT__DEFAULT_DOCKER__IMAGE
环境变量以部署一个与clearml.conf中agent.default_docker.image
指定的值不同的代理。
- 由于配置字段可能包含可解析的JSON值,请确保始终引用字符串(否则代理可能无法解析它们)
- 为了遵守环境变量标准,建议在环境变量键中仅使用大写字符。因此,ClearML Agent 在覆盖配置值之前,始终会将动态环境变量键中指定的配置路径转换为小写。