BARTpho
概述
BARTpho模型由Nguyen Luong Tran、Duong Minh Le和Dat Quoc Nguyen在BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese中提出。
论文的摘要如下:
我们推出了两个版本的BARTpho——BARTpho_word和BARTpho_syllable——这是首个为越南语预训练的大规模单语序列到序列模型。我们的BARTpho使用了序列到序列去噪模型BART的“大型”架构和预训练方案,因此特别适合生成式NLP任务。在越南语文本摘要的下游任务实验中,无论是自动评估还是人工评估,我们的BARTpho都优于强大的基线mBART,并提升了当前的最新技术水平。我们发布BARTpho以促进未来生成式越南语NLP任务的研究和应用。
使用示例
>>> import torch
>>> from transformers import AutoModel, AutoTokenizer
>>> bartpho = AutoModel.from_pretrained("vinai/bartpho-syllable")
>>> tokenizer = AutoTokenizer.from_pretrained("vinai/bartpho-syllable")
>>> line = "Chúng tôi là những nghiên cứu viên."
>>> input_ids = tokenizer(line, return_tensors="pt")
>>> with torch.no_grad():
... features = bartpho(**input_ids) # Models outputs are now tuples
>>> # With TensorFlow 2.0+:
>>> from transformers import TFAutoModel
>>> bartpho = TFAutoModel.from_pretrained("vinai/bartpho-syllable")
>>> input_ids = tokenizer(line, return_tensors="tf")
>>> features = bartpho(**input_ids)
使用提示
- 遵循mBART,BARTpho使用BART的“大型”架构,并在编码器和解码器顶部添加了一个额外的层归一化层。因此,在BART文档中的使用示例,当适应使用BARTpho时,应通过将BART专用类替换为mBART专用类来进行调整。例如:
>>> from transformers import MBartForConditionalGeneration
>>> bartpho = MBartForConditionalGeneration.from_pretrained("vinai/bartpho-syllable")
>>> TXT = "Chúng tôi là <mask> nghiên cứu viên."
>>> input_ids = tokenizer([TXT], return_tensors="pt")["input_ids"]
>>> logits = bartpho(input_ids).logits
>>> masked_index = (input_ids[0] == tokenizer.mask_token_id).nonzero().item()
>>> probs = logits[0, masked_index].softmax(dim=0)
>>> values, predictions = probs.topk(5)
>>> print(tokenizer.decode(predictions).split())
- 此实现仅用于分词:“monolingual_vocab_file”包含从预训练的多语言XLM-RoBERTa的SentencePiece模型“vocab_file”中提取的越南语专用类型。其他语言如果使用此预训练的多语言SentencePiece模型“vocab_file”进行子词分割,可以重用BartphoTokenizer,并使用其自己的语言专用“monolingual_vocab_file”。
BartphoTokenizer
类 transformers.BartphoTokenizer
< source >( vocab_file monolingual_vocab_file bos_token = '' eos_token = '' sep_token = '' cls_token = '' unk_token = '
参数
- vocab_file (
str
) — 词汇表文件的路径。此词汇表是从多语言XLM-RoBERTa中可用的预训练SentencePiece模型,也用于mBART,包含250K种类型。 - monolingual_vocab_file (
str
) — 单语词汇文件的路径。此单语词汇由从250K类型的多语言词汇vocab_file中提取的越南语专用类型组成。 - bos_token (
str
, optional, defaults to"<s>"
) — The beginning of sequence token that was used during pretraining. Can be used a sequence classifier token.在使用特殊标记构建序列时,这不是用于序列开头的标记。使用的标记是
cls_token
。 - eos_token (
str
, optional, defaults to"</s>"
) — The end of sequence token.在使用特殊标记构建序列时,这不是用于序列结束的标记。 使用的标记是
sep_token
。 - sep_token (
str
, 可选, 默认为""
) — 分隔符标记,用于从多个序列构建序列时,例如用于序列分类的两个序列或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。 - cls_token (
str
, 可选, 默认为"
) — 用于序列分类的分类器标记(对整个序列进行分类而不是对每个标记进行分类)。当使用特殊标记构建时,它是序列的第一个标记。" - unk_token (
str
, optional, defaults to"
) — 未知标记。不在词汇表中的标记无法转换为ID,而是设置为这个标记。" - pad_token (
str
, optional, defaults to"
) — 用于填充的标记,例如在对不同长度的序列进行批处理时使用。" - mask_token (
str
, 可选, 默认为"
) — 用于屏蔽值的标记。这是在训练此模型时用于屏蔽语言建模的标记。这是模型将尝试预测的标记。" - sp_model_kwargs (
dict
, optional) — Will be passed to theSentencePieceProcessor.__init__()
method. The Python wrapper for SentencePiece can be used, among other things, to set:-
enable_sampling
: 启用子词正则化。 -
nbest_size
: 用于unigram的采样参数。对于BPE-Dropout无效。nbest_size = {0,1}
: No sampling is performed.nbest_size > 1
: samples from the nbest_size results.nbest_size < 0
: assuming that nbest_size is infinite and samples from the all hypothesis (lattice) using forward-filtering-and-backward-sampling algorithm.
-
alpha
: 用于单字采样的平滑参数,以及BPE-dropout的合并操作丢弃概率。
-
- sp_model (
SentencePieceProcessor
) — 用于每次转换(字符串、标记和ID)的SentencePiece处理器。
改编自 XLMRobertaTokenizer。基于 SentencePiece。
此分词器继承自PreTrainedTokenizer,其中包含了大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。
build_inputs_with_special_tokens
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]
通过连接和添加特殊标记,从序列或序列对构建序列分类任务的模型输入。一个BARTPho序列具有以下格式:
- 单一序列:
X - 序列对:
AB
将一系列标记(子词的字符串)转换为单个字符串。
create_token_type_ids_from_sequences
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]
从传递给序列对分类任务的两个序列中创建一个掩码。BARTPho不使用token类型ID,因此返回一个零列表。
get_special_tokens_mask
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None already_has_special_tokens: bool = False ) → List[int]
从没有添加特殊标记的标记列表中检索序列ID。当使用标记器的prepare_for_model
方法添加特殊标记时,会调用此方法。