Skip to main content

设置

安装

note

如果之前已经配置了ClearML,请按照添加ClearML Agent的特定配置

要安装ClearML Agent,请执行

pip install clearml-agent
info

将ClearML代理安装为系统Python包,而不是在Python虚拟环境中。 在虚拟环境模式或Conda环境模式下运行的代理需要创建虚拟环境,而当它从虚拟环境中运行时无法做到这一点。

配置

  1. 在终端会话中,执行

    clearml-agent init

    设置向导会提示输入ClearML凭据(有关获取凭据的信息,请参见此处)。

    Please create new clearml credentials through the settings page in your `clearml-server` web app, 
    or create a free account at https://app.clear.ml/settings/webapp-configuration

    In the settings > workspace page, press "Create new credentials", then press "Copy to clipboard".

    Paste copied configuration here:

    如果设置向导的响应表明配置文件已经存在,请按照此处的说明操作。 向导不会编辑或覆盖现有的配置文件。

  2. 在命令提示符Paste copied configuration here:处,复制并粘贴ClearML凭据,然后按Enter键。 设置向导将确认凭据。

    Detected credentials key="********************" secret="*******"
  3. 输入以接受默认服务器URL,该URL是从凭据中检测到的,或输入一个ClearML网络服务器URL。

    必须使用安全的协议,https。不要使用http。

    WEB Host configured to: [https://app.clear.ml] 
    note

    如果您使用的是自托管的ClearML服务器,默认URL将使用您的域名。

  4. 对于API、URL和文件服务器,执行上述操作。

  5. 向导会响应您的配置:

    CLEARML Hosts configuration:
    Web App: https://app.clear.ml
    API: https://api.clear.ml
    File Store: https://files.clear.ml

    Verifying credentials ...
    Credentials verified!
  6. 输入默认的输出URI。模型检查点(快照)和任务工件将存储在此输出位置。

    Default Output URI (used to automatically store models and artifacts): (N)one/ClearML (S)erver/(C)ustom [None]
  7. 输入您的 Git 用户名和密码。如果使用 SSH 密钥认证或仅使用公共仓库,请留空。

    这是代理克隆存储库所需的。

    Enter git username for repository cloning (leave blank for SSH key authentication): []
    Enter password for user '<username>':

    设置向导确认您的git凭据。

    Git repository cloning will be using user=<username> password=<password>        
  8. 输入额外的工件仓库,如果不需要,请按Enter

    这是为了安装不在pypi中的Python包。

    Enter additional artifact repository (extra-index-url) to use when installing python packages (leave blank if not required):

    安装向导完成。

    New configuration stored in /home/<username>/clearml.conf
    CLEARML-AGENT setup completed successfully.

    配置文件的位置取决于操作系统:

    • Linux - ~/clearml.conf
    • Mac - $HOME/clearml.conf
    • Windows - \User\<username>\clearml.conf
  9. 可选地,为ClearML Agent配置ClearML选项(默认的docker、包管理器等)。请参阅ClearML配置参考ClearML Agent环境变量参考

note

ClearML 企业服务器提供了一个配置保险库,其内容会分类应用于代理本地配置之上。

将ClearML Agent添加到配置文件

如果已经存在一个clearml.conf文件,请向其中添加一些ClearML Agent特定的配置。

将ClearML代理添加到ClearML配置文件中:

  1. 打开ClearML配置文件进行编辑。根据操作系统的不同,它位于:

    • Linux - ~/clearml.conf
    • Mac - $HOME/clearml.conf
    • Windows - \User\<username>\clearml.conf
  2. api部分之后,添加您的agent部分。例如:

    agent {
    # Set GIT user/pass credentials (if user/pass are set, GIT protocol will be set to https)
    git_user=""
    git_pass=""
    # all other domains will use public access (no user/pass). Default: always send user/pass for any VCS domain
    git_host=""

    # Force GIT protocol to use SSH regardless of the git url (Assumes GIT user/pass are blank)
    force_git_ssh_protocol: false

    # unique name of this worker, if None, created based on hostname:process_id
    # Overridden with os environment: CLEARML_WORKER_NAME
    worker_id: ""
    }

    查看完整的ClearML Agent配置文件示例,包括agent部分这里

  3. 保存配置。

动态环境变量

动态ClearML代理环境变量可用于覆盖出现在clearml.confagent部分中的任何配置设置。

环境变量的名称应为CLEARML_AGENT__AGENT__,其中表示要设置的配置字段的完整路径。配置路径的元素应通过__(双下划线)分隔。例如,设置CLEARML_AGENT__AGENT__DEFAULT_DOCKER__IMAGE环境变量以部署一个与clearml.conf中agent.default_docker.image指定的值不同的代理。

NOTES
  • 由于配置字段可能包含可解析的JSON值,请确保始终引用字符串(否则代理可能无法解析它们)
  • 为了遵守环境变量标准,建议在环境变量键中仅使用大写字符。因此,ClearML Agent 在覆盖配置值之前,始终会将动态环境变量键中指定的配置路径转换为小写。