Skip to main content

模型端点

Enterprise Feature

此功能在ClearML企业版计划下可用。

模型端点表列出了所有当前活跃（正在运行和正在启动）的模型端点，允许您查看端点详细信息并随时间监控状态。每当您通过ClearML Deploy UI 应用程序部署模型时，它都会在表中列出。

在表格视图中查看模型端点 Table view 或在详细信息视图中查看 Details view 使用页面左上角的按钮。使用表格视图根据感兴趣的列对端点进行比较。使用详细信息视图访问所选端点的详细信息。详细信息视图也可以通过双击表格视图中的特定端点来打开其详细信息视图。

通过点击下载 Download，将模型端点表下载为CSV文件。

端点表​

活动端点显示在活动标签中。表格提供以下信息：

  • Endpoint - 端点名称
  • 模型 - 模型名称
  • URL - 端点URL
  • # 实例 - 模型实例的数量
  • 运行时间 - 任何模型实例运行的最长持续时间
  • # 请求 - 端点的总请求数
  • 请求 / 分钟 (平均) - 过去一分钟内的平均请求速率
  • 延迟（平均） - 平均端点响应延迟

活跃端点

加载选项卡显示正在设置但尚未激活的端点。表格提供以下信息：

  • Instance ID - 模型部署应用程序实例 ID
  • 模型 - 模型名称
  • 运行时间 - 自该端点开始设置以来的时间
  • 预处理工件 - 用于端点的预处理代码
  • 输入类型 - 模型矩阵输入类型（例如：uint8, float32, int16, float16）
  • 输入大小 - 模型矩阵输入大小

加载端点

您可以通过点击Filter来应用列过滤器， 并通过点击相关列上的Sort order来排序端点。

活动端点详情​

点击模型端点会在详细视图中打开它。

详情​

详情 标签显示模型端点信息：

  • Endpoint Name
  • Endpoint URL
  • Model Name (Click to go to ClearML or HuggingFace model page)
  • 运行时间 - 最长运行端点实例的持续时间
  • 预处理工件 - 用于端点的预处理代码
  • 输入类型 - 模型矩阵输入类型（例如：uint8, float32, int16, float16）
  • 输入大小 - 模型矩阵输入大小
  • 模型实例列表 - 为端点提供服务的模型实例。每个实例显示以下信息：
    • 实例ID - 点击实例ID可进入模型端点的ClearML应用程序实例仪表板。
    • 运行时间
    • 请求数量 - 总计数
    • 请求率 - 每分钟平均请求数
    • CPU数量
    • GPU数量
    • 延迟 - 最后一分钟的平均请求延迟

端点详情

监控​

监控选项卡显示端点的操作指标和资源使用情况随时间变化的图表：

  • Total number of requests
  • Average requests per minute
  • Average Delay
  • 机器利用率指标：
    • CPU 和 GPU 使用率
    • 内存使用率
    • 显存使用率
    • 网络使用率

端点监控

图表的时间跨度可以通过右上角的菜单进行控制。 点击 Eye Show 来控制显示哪些图表。

例如，要显示特定的图表，请点击隐藏全部，然后点击Eye Show在你想要查看的每个图表上。