Skip to main content

比较实验

ClearML Web UI 提供了比较实验的功能，允许定位、可视化和分析实验结果及其原因的差异。您可以查看以下方面的差异：

  • 详情 - 比较实验源代码、包版本、模型、配置对象和其他详细信息。
  • 超参数
    • 值 - 比较参数及其值
    • 平行坐标 - 查看超参数对选定指标的影响
    • 散点图 - 查看选定超参数与指标之间的相关性
  • 标量 - 比较实验指标:
    • 值 - 在简洁的比较表中比较最小、最大或最后报告的值
    • 图表 - 在每个指标的单一图表中叠加比较实验
  • 图表 - 比较实验图表
  • 调试样本 - 按迭代比较调试样本

通过这些比较，您可以研究不同设置对实验结果的影响，并为设计未来的实验获得洞察。

选择要比较的实验​

选择要比较的实验：

  1. 转到包含要比较的实验的实验表。
  2. 选择要比较的实验。一旦选择了多个实验，批量操作栏就会出现。
  3. 在批量操作栏中，点击COMPARE。

比较页面在详细信息标签中打开，实验并排比较。

修改实验选择​

点击EXPERIMENTS按钮查看当前比较的实验。点击列出的实验上的X将其从比较中移除。

实验列表

您可以添加/移除实验到您的比较中：

  1. 点击任意比较标签中的+按钮。这将打开一个窗口，其中包含一个实验表，当前比较的实验位于顶部。 Adding experiments
  2. 通过排序和过滤实验，使用适当的列标题控件找到要添加的实验。或者，使用搜索栏按名称查找实验。
  3. 选择要包含在比较中的实验（和/或清除您希望移除的任何实验的选择）。
  4. 点击APPLY。

分享比较页面​

要分享比较页面，请从地址栏复制完整的URL并发送给队友以协作。他们将获得完全相同的页面（包括选定的标签等）。

嵌入比较可视化​

要在您的报告中嵌入比较页面的图表和调试样本，请将鼠标悬停在资源上并点击Embed code，这将复制嵌入代码到剪贴板，以便放入您的报告中。这些可视化会随着实验的更新而实时更新。企业计划和托管服务支持将资源嵌入到外部工具中（例如Notion）。

比较模式​

比较页面提供以下视图：

并排文本比较​

在详细信息和超参数（值视图）选项卡中，您可以查看实验参数标称值的差异。详细信息选项卡显示实验的执行详细信息（源代码、未提交的更改、Python包）、模型、工件、配置对象以及其他一般信息。超参数（值视图）显示实验的超参数及其值。

实验以垂直卡片的形式展示，因此每个字段并排排列。左侧的实验用作基础实验，其他实验与之进行比较。您可以通过以下方式之一设置新的基础实验：

  • 悬停并点击Switch base experiment将成为新基础的实验。
  • 悬停并点击Pan在新的基础实验上，并将其一直拖动到最左边

实验之间的差异被突出显示。通过点击选项卡标题中的向上箭头（上一个差异）或向下箭头（下一个差异），可以轻松定位值差异。通过打开隐藏相同字段切换开关，可以隐藏相同的字段。

使用搜索栏查找任何字段名称或值。匹配搜索查询的行会高亮显示，您可以在搜索结果之间导航。

并排文本比较

表格标量比较​

Scalars 标签中的 Values 视图将实验的指标值以表格形式展示：每行代表一个指标/变体，每列代表一个实验。从下拉菜单中选择要显示的指标值：

  • 最终值：每个实验最后报告的值
  • 最小值：实验执行过程中报告的最小值
  • 最大值：在整个实验执行过程中报告的最大值

您可以通过点击Download下载标量比较表为CSV文件。

打开显示行极值开关以突出显示每个变体的最大值和最小值。

并排标量比较

平行坐标模式​

超参数选项卡中的平行坐标比较显示了实验的超参数对指定指标的影响：

  1. 在性能指标下，选择要比较的指标
  2. 选择用于图中每个指标的值（可以选择多个）：
    • LAST - 最终值，或当前运行实验的最新值
    • MIN - 最小值
    • MAX - 最大值
  3. 在参数中，选择要比较的超参数。

例如，绘制指标/变体 accuracy/total 与超参数 base_lr, dropout, 和 number_of_epochs 的关系图。

平行坐标

要专注于特定实验，请将鼠标悬停在图例中的名称上。

要隐藏实验，请点击图例中的实验名称（再次点击可恢复显示）。

散点图​

超参数标签中的散点图比较显示了实验在所选超参数和指标之间的相关性。

显示值的分布：

  • 选择绘图轴：
    1. 在Y轴下选择要在图中使用的指标和指标值：
      • LAST - 最终值，或当前运行实验的最新值
      • MIN - 最小值
      • MAX - 最大值
    2. 在X轴下选择超参数。

将鼠标悬停在结果图中的每个数据点上，将显示实验名称以及该点的指标和参数值。您可以通过ADDITIONAL DATA POINT INFORMATION向数据点工具提示添加额外的指标和超参数值。

比较散点图

绘图比较​

标量（图形视图）和图表标签比较实验的图表。

标量选项卡将标量值显示为时间序列折线图。图表选项卡比较每个比较实验中每个指标/变体组合的最后报告的迭代样本。

通过将所有比较实验中的每个指标/变体重叠到一个单一的对比图中，比较了线图、散点图、箱线图和条形图。

对于叠加图，使用按组来选择如何分组图：

  • 指标 - 一个指标的所有变体显示在同一图表上。

    按指标分组的标量图

  • 指标+变体（默认）- 每个变体都显示在自己的图表上。

    按指标和变体分组的标量图

未叠加的其他图表类型会为每个实验单独显示。

未合并的比较

所有单值标量都被绘制在“摘要”标题下的一个单一簇状条形图中，其中每个簇代表一个报告的指标，簇中的每个条形代表一个实验。

单一标量比较

将鼠标悬停在图表上以访问图表控件（参见标量图表工具）。

并排调试示例比较​

比较不同迭代的调试样本，以检查您的实验在整个执行过程中的表现。

您可以通过指标查看报告迭代中的调试样本。通过从样本上方的下拉菜单中选择一个指标来过滤样本。最近的迭代首先显示。要在迭代之间导航，请点击左箭头（较早的图像），右箭头（较新的图像），或右箭头，最新图像（最新的图像）。

点击Sync selection以同步跨实验的迭代和指标选择。例如，如果您为一个实验的调试样本选择了一个指标，比较中的其他实验将自动选择相同的指标。

调试示例比较

通过点击缩略图，在查看器或播放器中打开调试样本（图像、音频或视频）。

调试示例查看器

要移动到另一个迭代中的相同样本，请点击 左箭头 (上一个), 右箭头 (下一个), 或移动滑块。