设置

以下页面介绍了如何设置和升级clearml-serving。

先决条件​

• ClearML-Server : 模型仓库, 服务健康, 控制平面
• Kubernetes / 单实例机器：部署容器
• CLI : 配置和模型部署界面

初始设置​

1. 设置您的ClearML Server或使用 免费托管服务

2. 将clearml SDK连接到服务器，请参阅此处的说明

3. 安装 clearml-serving CLI：

   pip3 install clearml-serving
   

4. 创建服务控制器：

   clearml-serving create --name "serving example"
   

   新的服务服务UID应该被打印出来

   New Serving Service created: id=aa11bb22aa11bb22
   

   记下服务服务的UID

5. 克隆 clearml-serving 仓库：

   git clone https://github.com/allegroai/clearml-serving.git
   

6. 使用您的clearml-server凭据和服务UID编辑环境变量文件（docker/example.env）。 例如，您应该有以下内容

   cat docker/example.env
   

    CLEARML_WEB_HOST="https://app.clear.ml"
    CLEARML_API_HOST="https://api.clear.ml"
    CLEARML_FILES_HOST="https://files.clear.ml"
    CLEARML_API_ACCESS_KEY="<access_key_here>"
    CLEARML_API_SECRET_KEY="<secret_key_here>"
    CLEARML_SERVING_TASK_ID="<serving_service_id_here>"
   

7. 使用docker-compose启动clearml-serving容器（如果在Kubernetes上运行，请使用helm chart）

   cd docker && docker-compose --env-file example.env -f docker-compose.yml up
   

   如果您需要Triton支持（keras/pytorch/onnx等），请使用triton docker-compose文件

   cd docker && docker-compose --env-file example.env -f docker-compose-triton.yml up 
   

   如果在支持Triton的GPU实例上运行（keras/pytorch/onnx等），请使用triton gpu docker-compose文件：

   cd docker && docker-compose --env-file example.env -f docker-compose-triton-gpu.yml up
   

高级设置 - S3/GS/Azure 访问（可选）​

要添加访问凭证并允许推理容器从您的S3/GS/Azure对象存储下载模型，请将相应的环境变量添加到您的env文件（example.env）中。有关更多详细信息，请参阅 配置存储。

AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_DEFAULT_REGION

GOOGLE_APPLICATION_CREDENTIALS

AZURE_STORAGE_ACCOUNT
AZURE_STORAGE_KEY

升级 ClearML Serving​

升级到 v1.1

1. 关闭服务容器（docker-compose 或 k8s）
2. 更新 clearml-serving CLI pip3 install -U clearml-serving
3. 使用clearml-serving model add ...重新添加一个现有的端点（当被询问时按是）。它将升级clearml-serving会话定义
4. 拉取最新的服务容器（docker-compose pull ... 或 k8s）
5. 重新启动服务容器（docker-compose 或 k8s）

教程​

有关更多详细信息，请参阅ClearML Serving 教程。