超数据集

ClearML的超数据集是面向MLOps的数据抽象，它通过参数化的数据访问和元数据版本控制，促进了可追踪、可复现的模型开发。

基本前提是，用户形成的查询是ML/DL过程使用的数据集的完整表示。

ClearML Enterprise 的超数据集支持快速原型设计，创造新的机会，例如：

• 超参数优化数据本身
• QA/QC 流水线
• 部署期间的CD/CT（持续培训）
• 启用复杂的应用程序，如协作（联邦）学习。

超数据集组件​

一个超数据集由以下组件组成：

• Frames
  • SingleFrames
  • FrameGroups
• 数据集和数据集版本
• Dataviews

这些组件以某种方式交互，使得能够修订数据并跟踪和访问其所有版本。

在ClearML Enterprise中，帧是数据的基本单位。单帧和帧组构成了数据集版本。 数据集版本可以被创建、修改和删除。不同的版本被记录并可用， 因此实验及其数据是可重现和可追踪的。

最后，Dataviews通过查询管理数据集的视图，因此实验的输入数据可以从数据集的一个子集或数据集的组合中定义。