🤗 Transformers 笔记本
您可以在这里找到由Hugging Face提供的官方笔记本列表。
此外,我们想在这里列出社区创建的有趣内容。 如果您编写了一些利用🤗 Transformers的笔记本,并希望在此列出,请提交一个 Pull Request,以便它可以被包含在社区笔记本下。
Hugging Face 的笔记本 🤗
文档笔记本
您可以在Colab中将文档的任何页面作为笔记本打开(这些页面上直接有一个按钮),但如果您需要它们,它们也列在这里:
笔记本 | 描述 | ||
---|---|---|---|
Quicktour of the library | Transformers 中各种 API 的介绍 | ||
任务摘要 | 如何逐个任务运行Transformers库的模型 | ||
Preprocessing data | 如何使用分词器预处理您的数据 | ||
微调预训练模型 | 如何使用Trainer微调预训练模型 | ||
Summary of the tokenizers | 分词器算法之间的差异 | ||
Multilingual models | 如何使用库的多语言模型 |
PyTorch 示例
自然语言处理
笔记本 | 描述 | ||
---|---|---|---|
Train your tokenizer | 如何训练和使用你自己的分词器 | ||
训练你的语言模型 | 如何轻松开始使用transformers | ||
How to fine-tune a model on text classification | 展示如何预处理数据并在任何GLUE任务上微调预训练模型。 | ||
How to fine-tune a model on language modeling | 展示如何预处理数据并在因果或掩码语言模型任务上微调预训练模型。 | ||
How to fine-tune a model on token classification | 展示如何预处理数据并在一个标记分类任务(NER, PoS)上微调预训练模型。 | ||
How to fine-tune a model on question answering | 展示如何预处理数据并在SQUAD上微调预训练模型。 | ||
How to fine-tune a model on multiple choice | 展示如何预处理数据并在SWAG上微调预训练模型。 | ||
How to fine-tune a model on translation | 展示如何预处理数据并在WMT上微调预训练模型。 | ||
How to fine-tune a model on summarization | 展示如何预处理数据并在XSUM上微调预训练模型。 | ||
如何从头开始训练语言模型 | 突出显示所有步骤,以有效地在自定义数据上训练Transformer模型 | ||
How to generate text | 如何使用不同的解码方法进行语言生成与transformers | ||
如何生成文本(带约束条件) | 如何根据用户提供的约束条件指导语言生成 | ||
Reformer | Reformer如何突破语言建模的极限 |
计算机视觉
笔记本 | 描述 | ||
---|---|---|---|
How to fine-tune a model on image classification (Torchvision) | 展示如何使用Torchvision预处理数据,并在图像分类上微调任何预训练的视觉模型 | ||
How to fine-tune a model on image classification (Albumentations) | 展示如何使用Albumentations预处理数据,并在图像分类上微调任何预训练的视觉模型 | ||
How to fine-tune a model on image classification (Kornia) | 展示如何使用Kornia预处理数据,并在图像分类上微调任何预训练的视觉模型 | ||
如何使用OWL-ViT进行零样本目标检测 | 展示如何使用文本查询在图像上进行零样本目标检测 | ||
如何微调图像字幕模型 | 展示如何在自定义数据集上微调BLIP以进行图像字幕生成 | ||
如何使用Transformers构建图像相似性系统 | 展示如何构建图像相似性系统 | ||
如何微调SegFormer模型进行语义分割 | 展示如何预处理数据并在语义分割上微调预训练的SegFormer模型 | ||
如何微调VideoMAE模型进行视频分类 | 展示如何预处理数据并在视频分类上微调预训练的VideoMAE模型 |
音频
笔记本 | 描述 | ||
---|---|---|---|
How to fine-tune a speech recognition model in English | 展示如何预处理数据并在TIMIT上微调预训练的语音模型 | ||
如何微调任何语言的语音识别模型 | 展示如何预处理数据并在Common Voice上微调多语言预训练的语音模型 | ||
如何微调音频分类模型 | 展示如何预处理数据并在关键词检测上微调预训练的语音模型 |
生物序列
笔记本 | 描述 | ||
---|---|---|---|
如何微调预训练的蛋白质模型 | 了解如何对蛋白质进行标记化并微调一个大型预训练的蛋白质“语言”模型 | ||
如何生成蛋白质折叠 | 了解如何从蛋白质序列到完整的蛋白质模型和PDB文件 | ||
如何微调核苷酸Transformer模型 | 了解如何对DNA进行标记化并微调一个大型预训练的DNA“语言”模型 | ||
使用LoRA微调核苷酸Transformer模型 | 以内存高效的方式训练更大的DNA模型 |
其他模式
笔记本 | 描述 | ||
---|---|---|---|
概率时间序列预测 | 了解如何在自定义数据集上训练时间序列变换器 |
实用笔记本
笔记本 | 描述 | ||
---|---|---|---|
如何将模型导出为ONNX | 重点介绍如何通过ONNX导出并运行推理工作负载 | ||
如何使用基准测试 | 如何使用transformers对模型进行基准测试 |
TensorFlow 示例
自然语言处理
笔记本 | 描述 | ||
---|---|---|---|
Train your tokenizer | 如何训练和使用你自己的分词器 | ||
训练你的语言模型 | 如何轻松开始使用transformers | ||
How to fine-tune a model on text classification | 展示如何预处理数据并在任何GLUE任务上微调预训练模型。 | ||
如何微调语言模型 | 展示如何预处理数据并在因果或掩码语言模型任务上微调预训练模型。 | ||
How to fine-tune a model on token classification | 展示如何预处理数据并在一个标记分类任务(NER, PoS)上微调预训练模型。 | ||
How to fine-tune a model on question answering | 展示如何预处理数据并在SQUAD上微调预训练模型。 | ||
How to fine-tune a model on multiple choice | 展示如何预处理数据并在SWAG上微调预训练模型。 | ||
如何微调翻译模型 | 展示如何预处理数据并在WMT上微调预训练模型。 | ||
How to fine-tune a model on summarization | 展示如何预处理数据并在XSUM上微调预训练模型。 |
计算机视觉
笔记本 | 描述 | ||
---|---|---|---|
How to fine-tune a model on image classification | 展示如何预处理数据并在图像分类上微调任何预训练的视觉模型 | ||
如何微调SegFormer模型进行语义分割 | 展示如何预处理数据并在语义分割上微调预训练的SegFormer模型 |
生物序列
笔记本 | 描述 | ||
---|---|---|---|
如何微调预训练的蛋白质模型 | 了解如何对蛋白质进行标记化并微调一个大型预训练的蛋白质“语言”模型 |
实用笔记本
笔记本 | 描述 | ||
---|---|---|---|
如何在TPU上训练TF/Keras模型 | 了解如何在Google的TPU硬件上进行高速训练 |
最佳笔记本
🤗 Optimum 是 🤗 Transformers 的扩展,提供了一套性能优化工具,能够在目标硬件上以最高效率训练和运行模型。
笔记本 | 描述 | ||
---|---|---|---|
如何使用ONNX Runtime对文本分类模型进行量化 | 展示如何对任何GLUE任务使用ONNX Runtime对模型应用静态和动态量化。 | ||
如何使用Intel Neural Compressor量化文本分类模型 | 展示如何在使用Intel Neural Compressor (INC)的模型上应用静态、动态和感知训练量化,适用于任何GLUE任务。 | ||
如何使用ONNX Runtime在文本分类上微调模型 | 展示如何使用ONNX Runtime预处理数据并在任何GLUE任务上微调模型。 | ||
How to fine-tune a model on summarization with ONNX Runtime | 展示如何使用ONNX Runtime预处理数据并在XSUM上微调模型。 |
社区笔记本:
社区开发的更多笔记本可在这里找到。
< > Update on GitHub