Skip to main content

变形金刚

Hugging Face Transformers 示例 展示了如何将 ClearML 集成到您的 Transformer 的 Trainer 代码中。如果已经安装了 clearml 包,Hugging Face Trainer 会自动使用内置的 ClearMLCallback 来记录 Transformers 模型、参数、标量等。

在示例中,ClearML 已安装并设置在训练环境中。这样 ClearML 可以记录模型、参数、标量等。

当示例运行时,它会在HuggingFace Transformers项目中创建一个名为Trainer的ClearML任务。要更改任务的名称或项目,请分别使用CLEARML_PROJECTCLEARML_TASK环境变量。

有关将ClearML集成到您的Transformers代码中的更多信息,请参阅Hugging Face Transformers

WebApp

超参数

ClearML 自动捕获所有 Trainer 参数。 请注意,在代码示例中,只有少数 TrainingArguments 被显式设置:

training_args = TrainingArguments(
output_dir="path/to/save/folder/",
learning_rate=2e-5,
per_device_train_batch_size=8,
per_device_eval_batch_size=8,
num_train_epochs=2,
)

ClearML 捕获了所有传递给 Trainer 的 TrainingArguments

在实验的配置选项卡> 超参数部分查看这些参数。

Transformers 参数

模型

为了让ClearML记录在此示例训练期间创建的模型,CLEARML_LOG_MODEL环境变量被设置为True

ClearML 自动捕获由 Trainer 创建的模型快照,并将它们保存为工件。在实验的 ARTIFACTS 标签中查看这些快照。

Transformers模型

标量

ClearML 自动捕获训练器的标量,可以在实验的标量选项卡中查看。

Transformers标量