BARThez
概述
BARThez模型由Moussa Kamal Eddine、Antoine J.-P. Tixier和Michalis Vazirgiannis于2020年10月23日在BARThez: a Skilled Pretrained French Sequence-to-Sequence Model中提出。
论文摘要:
通过自监督学习实现的归纳迁移学习已经席卷了整个自然语言处理(NLP)领域,像BERT和BART这样的模型在无数的自然语言理解任务中设定了新的技术水平。尽管有一些显著的例外,但大多数可用的模型和研究都是针对英语进行的。在这项工作中,我们介绍了BARThez,这是第一个针对法语(据我们所知)的BART模型。BARThez是在一个非常大的单语法语语料库上进行预训练的,这个语料库来自我们过去的研究,我们对其进行了调整以适应BART的扰动方案。与已经存在的基于BERT的法语模型(如CamemBERT和FlauBERT)不同,BARThez特别适合生成任务,因为不仅其编码器,而且其解码器也进行了预训练。除了FLUE基准测试中的判别任务外,我们还在一个新的摘要数据集OrangeSum上评估了BARThez,该数据集随本文一起发布。我们还在BARThez的语料库上继续预训练了一个已经预训练过的多语言BART,并展示了我们称之为mBARTHez的模型,它比原始的BARThez有显著的提升,并且与CamemBERT和FlauBERT相当或优于它们。
BARThez 的实现与 BART 相同,除了分词部分。有关配置类及其参数的信息,请参阅 BART 文档。下面记录了 BARThez 特定的分词器。
资源
- BARThez 可以像 BART 一样在序列到序列任务上进行微调,请查看: examples/pytorch/summarization/。
BarthezTokenizer
类 transformers.BarthezTokenizer
< source >( vocab_file bos_token = '' eos_token = '' sep_token = '' cls_token = '' unk_token = '
参数
- vocab_file (
str
) — SentencePiece 文件(通常具有 .spm 扩展名),包含实例化分词器所需的词汇表。 - bos_token (
str
, optional, defaults to"<s>"
) — The beginning of sequence token that was used during pretraining. Can be used a sequence classifier token.在使用特殊标记构建序列时,这不是用于序列开头的标记。使用的标记是
cls_token
。 - eos_token (
str
, optional, defaults to"</s>"
) — The end of sequence token.在使用特殊标记构建序列时,这不是用于序列结束的标记。 使用的标记是
sep_token
。 - sep_token (
str
, 可选, 默认为""
) — 分隔符标记,用于从多个序列构建序列时使用,例如用于序列分类的两个序列或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。 - cls_token (
str
, 可选, 默认为"
) — 用于序列分类的分类器标记(对整个序列进行分类而不是对每个标记进行分类)。当使用特殊标记构建时,它是序列的第一个标记。" - unk_token (
str
, 可选, 默认为"
) — 未知标记。不在词汇表中的标记无法转换为ID,而是设置为该标记。" - pad_token (
str
, optional, defaults to"
) — 用于填充的标记,例如在对不同长度的序列进行批处理时使用。" - mask_token (
str
, 可选, 默认为"
) — 用于屏蔽值的标记。这是在训练此模型时用于屏蔽语言建模的标记。这是模型将尝试预测的标记。" - sp_model_kwargs (
dict
, optional) — Will be passed to theSentencePieceProcessor.__init__()
method. The Python wrapper for SentencePiece can be used, among other things, to set:-
enable_sampling
: 启用子词正则化。 -
nbest_size
: 用于unigram的采样参数。对于BPE-Dropout无效。nbest_size = {0,1}
: No sampling is performed.nbest_size > 1
: samples from the nbest_size results.nbest_size < 0
: assuming that nbest_size is infinite and samples from the all hypothesis (lattice) using forward-filtering-and-backward-sampling algorithm.
-
alpha
: 用于单字采样的平滑参数,以及BPE-dropout的合并操作丢弃概率。
-
- sp_model (
SentencePieceProcessor
) — 用于每次转换(字符串、标记和ID)的SentencePiece处理器。
改编自 CamembertTokenizer 和 BartTokenizer。构建一个 BARThez 分词器。基于 SentencePiece。
此分词器继承自PreTrainedTokenizer,其中包含了大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。
build_inputs_with_special_tokens
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]
通过连接和添加特殊标记,从序列或序列对构建序列分类任务的模型输入。一个BARThez序列具有以下格式:
- 单一序列:
X - 序列对:
AB
将一系列标记(字符串)转换为单个字符串。
create_token_type_ids_from_sequences
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]
从传递给的两个序列创建一个掩码,用于序列对分类任务。
get_special_tokens_mask
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None already_has_special_tokens: bool = False ) → List[int]
从没有添加特殊标记的标记列表中检索序列ID。当使用标记器的prepare_for_model
方法添加特殊标记时,会调用此方法。
BarthezTokenizerFast
类 transformers.BarthezTokenizerFast
< source >( vocab_file = 无 tokenizer_file = 无 bos_token = '' eos_token = '' sep_token = '' cls_token = '' unk_token = '
参数
- vocab_file (
str
) — SentencePiece 文件(通常具有 .spm 扩展名),包含实例化分词器所需的词汇表。 - bos_token (
str
, optional, defaults to"<s>"
) — The beginning of sequence token that was used during pretraining. Can be used a sequence classifier token.在使用特殊标记构建序列时,这不是用于序列开头的标记。使用的标记是
cls_token
。 - eos_token (
str
, optional, defaults to"</s>"
) — The end of sequence token.在使用特殊标记构建序列时,这不是用于序列结束的标记。 使用的标记是
sep_token
。 - sep_token (
str
, 可选, 默认为""
) — 分隔符标记,用于从多个序列构建序列时,例如用于序列分类的两个序列或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。 - cls_token (
str
, 可选, 默认为"
) — 用于序列分类的分类器标记(对整个序列进行分类,而不是对每个标记进行分类)。当使用特殊标记构建时,它是序列的第一个标记。" - unk_token (
str
, optional, defaults to"
) — 未知标记。不在词汇表中的标记无法转换为ID,而是设置为该标记。" - pad_token (
str
, optional, defaults to"
) — 用于填充的标记,例如在对不同长度的序列进行批处理时使用。" - mask_token (
str
, 可选, 默认为"
) — 用于屏蔽值的标记。这是在训练此模型时用于屏蔽语言建模的标记。这是模型将尝试预测的标记。" - additional_special_tokens (
List[str]
, optional, defaults to["
) — 分词器使用的额外特殊标记。NOTUSED", "NOTUSED"]
改编自 CamembertTokenizer 和 BartTokenizer。构建一个“快速”的BARThez分词器。基于 SentencePiece。
这个分词器继承自PreTrainedTokenizerFast,其中包含了大部分主要方法。用户应参考这个超类以获取有关这些方法的更多信息。
build_inputs_with_special_tokens
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]
通过连接和添加特殊标记,从序列或序列对构建序列分类任务的模型输入。一个BARThez序列具有以下格式:
- 单一序列:
X - 序列对:
AB
create_token_type_ids_from_sequences
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]
从传递给的两个序列创建一个掩码,用于序列对分类任务。