Transformers 文档

微调预训练模型

微调预训练模型

使用预训练模型有显著的好处。它减少了计算成本、你的碳足迹,并允许你使用最先进的模型,而无需从头开始训练。🤗 Transformers 提供了数千个预训练模型,适用于广泛的任务。当你使用预训练模型时,你会在特定于你任务的数据集上进行训练。这被称为微调,是一种极其强大的训练技术。在本教程中,你将使用你选择的深度学习框架微调一个预训练模型:

  • 使用 🤗 Transformers Trainer 微调预训练模型。
  • 在TensorFlow中使用Keras微调预训练模型。
  • 在原生 PyTorch 中微调预训练模型。

准备数据集

在微调预训练模型之前,下载一个数据集并准备进行训练。之前的教程向你展示了如何处理训练数据,现在你有机会将这些技能付诸实践!

首先加载Yelp Reviews数据集:

>>> from datasets import load_dataset

>>> dataset = load_dataset("yelp_review_full")
>>> dataset["train"][100]
{'label': 0,
 'text': 'My expectations for McDonalds are t rarely high. But for one to still fail so spectacularly...that takes something special!\\nThe cashier took my friends\'s order, then promptly ignored me. I had to force myself in front of a cashier who opened his register to wait on the person BEHIND me. I waited over five minutes for a gigantic order that included precisely one kid\'s meal. After watching two people who ordered after me be handed their food, I asked where mine was. The manager started yelling at the cashiers for \\"serving off their orders\\" when they didn\'t have their food. But neither cashier was anywhere near those controls, and the manager was the one serving food to customers and clearing the boards.\\nThe manager was rude when giving me my order. She didn\'t make sure that I had everything ON MY RECEIPT, and never even had the decency to apologize that I felt I was getting poor service.\\nI\'ve eaten at various McDonalds restaurants for over 30 years. I\'ve worked at more than one location. I expect bad days, bad moods, and the occasional mistake. But I have yet to have a decent experience at this store. It will remain a place I avoid unless someone in my party needs to avoid illness from low blood sugar. Perhaps I should go back to the racially biased service of Steak n Shake instead!'}

正如你现在所知道的,你需要一个分词器来处理文本,并包含一个填充和截断策略来处理任何可变序列长度。要一步处理你的数据集,使用🤗 Datasets的map方法对整个数据集应用预处理函数:

>>> from transformers import AutoTokenizer

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")


>>> def tokenize_function(examples):
...     return tokenizer(examples["text"], padding="max_length", truncation=True)


>>> tokenized_datasets = dataset.map(tokenize_function, batched=True)

如果你愿意,你可以创建一个完整数据集的较小子集来进行微调,以减少所需的时间:

>>> small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
>>> small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

训练

此时,您应该按照您想要使用的框架对应的部分进行操作。您可以使用右侧边栏中的链接跳转到您想要的部分 - 如果您想隐藏某个框架的所有内容,只需使用该框架块右上角的按钮!

Pytorch
Hide Pytorch content

使用 PyTorch Trainer 进行训练

🤗 Transformers 提供了一个 Trainer 类,专门用于优化训练 🤗 Transformers 模型,使得无需手动编写训练循环即可轻松开始训练。Trainer API 支持广泛的训练选项和功能,如日志记录、梯度累积和混合精度。

首先加载您的模型并指定预期的标签数量。从Yelp Review 数据集卡片中,您知道有五个标签。

默认情况下,权重以全精度(torch.float32)加载,无论权重实际存储的数据类型是什么,例如torch.float16。设置torch_dtype="auto"以加载模型config.json文件中定义的数据类型,以自动加载内存最优的数据类型。

>>> from transformers import AutoModelForSequenceClassification

>>> model = AutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", num_labels=5, torch_dtype="auto")

你会看到一个警告,关于一些预训练权重未被使用以及一些权重被随机初始化。别担心,这完全正常!BERT模型的预训练头部被丢弃,并替换为一个随机初始化的分类头部。你将在你的序列分类任务上微调这个新的模型头部,将预训练模型的知识传递给它。

训练超参数

接下来,创建一个TrainingArguments类,其中包含所有可以调整的超参数以及用于激活不同训练选项的标志。对于本教程,您可以从默认的训练超参数开始,但请随意尝试这些参数以找到您的最佳设置。

指定保存训练检查点的位置:

>>> from transformers import TrainingArguments

>>> training_args = TrainingArguments(output_dir="test_trainer")

评估

Trainer 在训练期间不会自动评估模型性能。你需要向 Trainer 传递一个函数来计算和报告指标。🤗 Evaluate 库提供了一个简单的 accuracy 函数,你可以使用 evaluate.load 函数加载(更多信息请参见此 快速指南):

>>> import numpy as np
>>> import evaluate

>>> metric = evaluate.load("accuracy")

metric上调用compute以计算预测的准确性。在将预测传递给compute之前,您需要将logits转换为预测(记住所有🤗 Transformers模型都返回logits):

>>> def compute_metrics(eval_pred):
...     logits, labels = eval_pred
...     predictions = np.argmax(logits, axis=-1)
...     return metric.compute(predictions=predictions, references=labels)

如果您希望在微调期间监控评估指标,请在训练参数中指定eval_strategy参数,以在每个周期结束时报告评估指标:

>>> from transformers import TrainingArguments, Trainer

>>> training_args = TrainingArguments(output_dir="test_trainer", eval_strategy="epoch")

训练器

创建一个Trainer对象,包含你的模型、训练参数、训练和测试数据集以及评估函数:

>>> trainer = Trainer(
...     model=model,
...     args=training_args,
...     train_dataset=small_train_dataset,
...     eval_dataset=small_eval_dataset,
...     compute_metrics=compute_metrics,
... )

然后通过调用train()来微调你的模型:

>>> trainer.train()
TensorFlow
Hide TensorFlow content

使用Keras训练TensorFlow模型

你也可以使用Keras API在TensorFlow中训练🤗 Transformers模型!

加载Keras数据

当你想使用Keras API训练一个🤗 Transformers模型时,你需要将你的数据集转换为Keras能够理解的格式。如果你的数据集很小,你可以直接将整个数据集转换为NumPy数组并传递给Keras。在我们进行更复杂的操作之前,让我们先尝试一下这个方法。

首先,加载一个数据集。我们将使用来自GLUE基准测试的CoLA数据集,因为它是一个简单的二元文本分类任务,并且暂时只取训练集。

from datasets import load_dataset

dataset = load_dataset("glue", "cola")
dataset = dataset["train"]  # Just take the training split for now

接下来,加载一个分词器并将数据分词为NumPy数组。请注意,标签已经是0和1的列表,因此我们可以直接将其转换为NumPy数组而无需分词!

from transformers import AutoTokenizer
import numpy as np

tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")
tokenized_data = tokenizer(dataset["sentence"], return_tensors="np", padding=True)
# Tokenizer returns a BatchEncoding, but we convert that to a dict for Keras
tokenized_data = dict(tokenized_data)

labels = np.array(dataset["label"])  # Label is already an array of 0 and 1

最后,加载、compilefit 模型。请注意,Transformers 模型都有一个默认的与任务相关的损失函数,因此除非您想要指定一个,否则不需要指定:

from transformers import TFAutoModelForSequenceClassification
from tensorflow.keras.optimizers import Adam

# Load and compile our model
model = TFAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased")
# Lower learning rates are often better for fine-tuning transformers
model.compile(optimizer=Adam(3e-5))  # No loss argument!

model.fit(tokenized_data, labels)

当你compile()模型时,你不必传递一个损失参数!Hugging Face 模型会自动选择一个适合其任务和模型架构的损失函数,如果这个参数留空的话。如果你愿意,你总是可以通过自己指定一个损失函数来覆盖这个默认选择。

这种方法对于较小的数据集效果很好,但对于较大的数据集,你可能会发现它开始成为一个问题。为什么呢? 因为标记化的数组和标签必须完全加载到内存中,而且由于NumPy不处理“不规则”数组,所以每个标记化的样本都必须填充到整个数据集中最长样本的长度。这会使你的数组变得更大,而且所有这些填充标记也会减慢训练速度!

将数据加载为 tf.data.Dataset

如果你想避免减慢训练速度,可以将数据加载为tf.data.Dataset。虽然你可以自己编写tf.data管道,但我们提供了两种便捷的方法来实现这一点:

  • prepare_tf_dataset(): 这是在大多数情况下我们推荐的方法。因为它是模型上的一个方法,它可以检查模型以自动确定哪些列可用作模型输入,并丢弃其他列以创建一个更简单、性能更好的数据集。
  • to_tf_dataset: 此方法更为底层,当您希望精确控制数据集的创建方式时非常有用,通过指定要包含的确切columnslabel_cols

在使用prepare_tf_dataset()之前,您需要将分词器的输出作为列添加到您的数据集中,如下面的代码示例所示:

def tokenize_dataset(data):
    # Keys of the returned dictionary will be added to the dataset as columns
    return tokenizer(data["text"])


dataset = dataset.map(tokenize_dataset)

请记住,Hugging Face 数据集默认存储在磁盘上,因此这不会增加您的内存使用量!一旦添加了列,您可以从数据集中流式传输批次,并为每个批次添加填充,这大大减少了与填充整个数据集相比的填充标记数量。

>>> tf_dataset = model.prepare_tf_dataset(dataset["train"], batch_size=16, shuffle=True, tokenizer=tokenizer)

请注意,在上面的代码示例中,您需要将分词器传递给prepare_tf_dataset,以便在加载时正确填充批次。 如果您的数据集中的所有样本长度相同且不需要填充,则可以跳过此参数。 如果您需要执行比填充样本更复杂的操作(例如,为掩码语言建模损坏标记),则可以使用collate_fn参数传递一个函数,该函数将被调用来将样本列表转换为批次并应用您想要的任何预处理。请参阅我们的 examplesnotebooks 以查看此方法的实际应用。

一旦你创建了一个tf.data.Dataset,你可以像以前一样编译和拟合模型:

model.compile(optimizer=Adam(3e-5))  # No loss argument!

model.fit(tf_dataset)

在原生PyTorch中训练

Pytorch
Hide Pytorch content

Trainer 负责训练循环,并允许你在一行代码中微调模型。对于喜欢编写自己的训练循环的用户,你也可以在原生 PyTorch 中微调 🤗 Transformers 模型。

此时,您可能需要重新启动您的笔记本或执行以下代码以释放一些内存:

from accelerate.utils.memory import clear_device_cache
del model
del trainer
clear_device_cache()

接下来,手动对tokenized_dataset进行后处理,以准备进行训练。

  1. 移除text列,因为模型不接受原始文本作为输入:

    >>> tokenized_datasets = tokenized_datasets.remove_columns(["text"])
  2. label列重命名为labels,因为模型期望参数名称为labels

    >>> tokenized_datasets = tokenized_datasets.rename_column("label", "labels")
  3. 设置数据集的格式以返回PyTorch张量而不是列表:

    >>> tokenized_datasets.set_format("torch")

然后像之前展示的那样创建数据集的较小子集以加快微调速度:

>>> small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
>>> small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

数据加载器

为您的训练和测试数据集创建一个DataLoader,以便您可以迭代数据批次:

>>> from torch.utils.data import DataLoader

>>> train_dataloader = DataLoader(small_train_dataset, shuffle=True, batch_size=8)
>>> eval_dataloader = DataLoader(small_eval_dataset, batch_size=8)

加载带有预期标签数量的模型:

>>> from transformers import AutoModelForSequenceClassification

>>> model = AutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", num_labels=5)

优化器和学习率调度器

创建一个优化器和学习率调度器来微调模型。让我们使用PyTorch中的AdamW优化器:

>>> from torch.optim import AdamW

>>> optimizer = AdamW(model.parameters(), lr=5e-5)

Trainer创建默认的学习率调度器:

>>> from transformers import get_scheduler

>>> num_epochs = 3
>>> num_training_steps = num_epochs * len(train_dataloader)
>>> lr_scheduler = get_scheduler(
...     name="linear", optimizer=optimizer, num_warmup_steps=0, num_training_steps=num_training_steps
... )

最后,如果您有GPU,请指定device来使用GPU。否则,在CPU上进行训练可能需要几个小时,而不是几分钟。

>>> import torch
>>> from accelerate.test_utils.testing import get_backend

>>> device, _, _ = get_backend() # automatically detects the underlying device type (CUDA, CPU, XPU, MPS, etc.)
>>> model.to(device)

如果您没有像ColaboratorySageMaker StudioLab这样的托管笔记本,可以免费访问云GPU。

太好了,现在你已经准备好训练了!🥳

训练循环

为了跟踪您的训练进度,使用tqdm库在训练步骤数量上添加一个进度条:

>>> from tqdm.auto import tqdm

>>> progress_bar = tqdm(range(num_training_steps))

>>> model.train()
>>> for epoch in range(num_epochs):
...     for batch in train_dataloader:
...         batch = {k: v.to(device) for k, v in batch.items()}
...         outputs = model(**batch)
...         loss = outputs.loss
...         loss.backward()

...         optimizer.step()
...         lr_scheduler.step()
...         optimizer.zero_grad()
...         progress_bar.update(1)

评估

就像你向Trainer添加评估函数一样,当你编写自己的训练循环时,也需要做同样的事情。但这次不是在每个epoch结束时计算和报告指标,而是使用add_batch累积所有批次,并在最后计算指标。

>>> import evaluate

>>> metric = evaluate.load("accuracy")
>>> model.eval()
>>> for batch in eval_dataloader:
...     batch = {k: v.to(device) for k, v in batch.items()}
...     with torch.no_grad():
...         outputs = model(**batch)

...     logits = outputs.logits
...     predictions = torch.argmax(logits, dim=-1)
...     metric.add_batch(predictions=predictions, references=batch["labels"])

>>> metric.compute()

附加资源

更多微调示例,请参考:

< > Update on GitHub