Transformers 文档

🤗 Transformers 笔记本

🤗 Transformers 笔记本

您可以在这里找到由Hugging Face提供的官方笔记本列表。

此外,我们想在这里列出社区创建的有趣内容。 如果您编写了一些利用🤗 Transformers的笔记本,并希望在此列出,请提交一个 Pull Request,以便它可以被包含在社区笔记本下。

Hugging Face 的笔记本 🤗

文档笔记本

您可以在Colab中将文档的任何页面作为笔记本打开(这些页面上直接有一个按钮),但如果您需要它们,它们也列在这里:

笔记本 描述
Quicktour of the library Transformers 中各种 API 的介绍 Open in AWS Studio Open in AWS Studio
任务摘要 如何逐个任务运行Transformers库的模型 Open in AWS Studio Open in AWS Studio
Preprocessing data 如何使用分词器预处理您的数据 Open in AWS Studio Open in AWS Studio
微调预训练模型 如何使用Trainer微调预训练模型 Open in AWS Studio Open in AWS Studio
Summary of the tokenizers 分词器算法之间的差异 Open in AWS Studio Open in AWS Studio
Multilingual models 如何使用库的多语言模型 Open in AWS Studio Open in AWS Studio

PyTorch 示例

自然语言处理

笔记本 描述
Train your tokenizer 如何训练和使用你自己的分词器 Open in AWS Studio Open in AWS Studio
训练你的语言模型 如何轻松开始使用transformers Open in AWS Studio Open in AWS Studio
How to fine-tune a model on text classification 展示如何预处理数据并在任何GLUE任务上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on language modeling 展示如何预处理数据并在因果或掩码语言模型任务上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on token classification 展示如何预处理数据并在一个标记分类任务(NER, PoS)上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on question answering 展示如何预处理数据并在SQUAD上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on multiple choice 展示如何预处理数据并在SWAG上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on translation 展示如何预处理数据并在WMT上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on summarization 展示如何预处理数据并在XSUM上微调预训练模型。 Open in AWS Studio Open in AWS Studio
如何从头开始训练语言模型 突出显示所有步骤,以有效地在自定义数据上训练Transformer模型 Open in AWS Studio Open in AWS Studio
How to generate text 如何使用不同的解码方法进行语言生成与transformers Open in AWS Studio Open in AWS Studio
如何生成文本(带约束条件) 如何根据用户提供的约束条件指导语言生成 Open in AWS Studio Open in AWS Studio
Reformer Reformer如何突破语言建模的极限 Open in AWS Studio Open in AWS Studio

计算机视觉

笔记本 描述
How to fine-tune a model on image classification (Torchvision) 展示如何使用Torchvision预处理数据,并在图像分类上微调任何预训练的视觉模型 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on image classification (Albumentations) 展示如何使用Albumentations预处理数据,并在图像分类上微调任何预训练的视觉模型 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on image classification (Kornia) 展示如何使用Kornia预处理数据,并在图像分类上微调任何预训练的视觉模型 Open in AWS Studio Open in AWS Studio
如何使用OWL-ViT进行零样本目标检测 展示如何使用文本查询在图像上进行零样本目标检测 Open in AWS Studio Open in AWS Studio
如何微调图像字幕模型 展示如何在自定义数据集上微调BLIP以进行图像字幕生成 Open in AWS Studio Open in AWS Studio
如何使用Transformers构建图像相似性系统 展示如何构建图像相似性系统 Open in AWS Studio Open in AWS Studio
如何微调SegFormer模型进行语义分割 展示如何预处理数据并在语义分割上微调预训练的SegFormer模型 Open in AWS Studio Open in AWS Studio
如何微调VideoMAE模型进行视频分类 展示如何预处理数据并在视频分类上微调预训练的VideoMAE模型 Open in AWS Studio Open in AWS Studio

音频

笔记本 描述
How to fine-tune a speech recognition model in English 展示如何预处理数据并在TIMIT上微调预训练的语音模型 Open in AWS Studio Open in AWS Studio
如何微调任何语言的语音识别模型 展示如何预处理数据并在Common Voice上微调多语言预训练的语音模型 Open in AWS Studio Open in AWS Studio
如何微调音频分类模型 展示如何预处理数据并在关键词检测上微调预训练的语音模型 Open in AWS Studio Open in AWS Studio

生物序列

笔记本 描述
如何微调预训练的蛋白质模型 了解如何对蛋白质进行标记化并微调一个大型预训练的蛋白质“语言”模型 Open in AWS Studio Open in AWS Studio
如何生成蛋白质折叠 了解如何从蛋白质序列到完整的蛋白质模型和PDB文件 Open in AWS Studio Open in AWS Studio
如何微调核苷酸Transformer模型 了解如何对DNA进行标记化并微调一个大型预训练的DNA“语言”模型 Open in AWS Studio Open in AWS Studio
使用LoRA微调核苷酸Transformer模型 以内存高效的方式训练更大的DNA模型 Open in AWS Studio Open in AWS Studio

其他模式

笔记本 描述
概率时间序列预测 了解如何在自定义数据集上训练时间序列变换器 Open in AWS Studio Open in AWS Studio

实用笔记本

笔记本 描述
如何将模型导出为ONNX 重点介绍如何通过ONNX导出并运行推理工作负载 Open in AWS Studio Open in AWS Studio
如何使用基准测试 如何使用transformers对模型进行基准测试 Open in AWS Studio Open in AWS Studio

TensorFlow 示例

自然语言处理

笔记本 描述
Train your tokenizer 如何训练和使用你自己的分词器 Open in AWS Studio Open in AWS Studio
训练你的语言模型 如何轻松开始使用transformers Open in AWS Studio Open in AWS Studio
How to fine-tune a model on text classification 展示如何预处理数据并在任何GLUE任务上微调预训练模型。 Open in AWS Studio Open in AWS Studio
如何微调语言模型 展示如何预处理数据并在因果或掩码语言模型任务上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on token classification 展示如何预处理数据并在一个标记分类任务(NER, PoS)上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on question answering 展示如何预处理数据并在SQUAD上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on multiple choice 展示如何预处理数据并在SWAG上微调预训练模型。 Open in AWS Studio Open in AWS Studio
如何微调翻译模型 展示如何预处理数据并在WMT上微调预训练模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on summarization 展示如何预处理数据并在XSUM上微调预训练模型。 Open in AWS Studio Open in AWS Studio

计算机视觉

笔记本 描述
How to fine-tune a model on image classification 展示如何预处理数据并在图像分类上微调任何预训练的视觉模型 Open in AWS Studio Open in AWS Studio
如何微调SegFormer模型进行语义分割 展示如何预处理数据并在语义分割上微调预训练的SegFormer模型 Open in AWS Studio Open in AWS Studio

生物序列

笔记本 描述
如何微调预训练的蛋白质模型 了解如何对蛋白质进行标记化并微调一个大型预训练的蛋白质“语言”模型 Open in AWS Studio Open in AWS Studio

实用笔记本

笔记本 描述
如何在TPU上训练TF/Keras模型 了解如何在Google的TPU硬件上进行高速训练 Open in AWS Studio Open in AWS Studio

最佳笔记本

🤗 Optimum 是 🤗 Transformers 的扩展,提供了一套性能优化工具,能够在目标硬件上以最高效率训练和运行模型。

笔记本 描述
如何使用ONNX Runtime对文本分类模型进行量化 展示如何对任何GLUE任务使用ONNX Runtime对模型应用静态和动态量化。 Open in AWS Studio Open in AWS Studio
如何使用Intel Neural Compressor量化文本分类模型 展示如何在使用Intel Neural Compressor (INC)的模型上应用静态、动态和感知训练量化,适用于任何GLUE任务。 Open in AWS Studio Open in AWS Studio
如何使用ONNX Runtime在文本分类上微调模型 展示如何使用ONNX Runtime预处理数据并在任何GLUE任务上微调模型。 Open in AWS Studio Open in AWS Studio
How to fine-tune a model on summarization with ONNX Runtime 展示如何使用ONNX Runtime预处理数据并在XSUM上微调模型。 Open in AWS Studio Open in AWS Studio

社区笔记本:

社区开发的更多笔记本可在这里找到。

< > Update on GitHub