KerasNLP 分词器
分词器将原始字符串输入转换为适合 Keras Embedding 层的整数输入。
它们还可以将预测的整数序列转换回原始字符串输出。
所有分词器都是 keras_nlp.tokenizers.Tokenizer 的子类，而它又是 keras.layers.Layer 的子类。分词器通常应在
tf.data.Dataset.map 中应用于训练，并可以包含在 keras.Model 中进行推理。
WordPiece分词器
- WordPieceTokenizer class
- tokenize method
- detokenize method
- get_vocabulary method
- vocabulary_size method
- token_to_id method
- id_to_token method
SentencePiece分词器
- SentencePieceTokenizer class
- tokenize method
- detokenize method
- get_vocabulary method
- vocabulary_size method
- token_to_id method
- id_to_token method
字节对标记器
- BytePairTokenizer class
- tokenize method
- detokenize method
- get_vocabulary method
- vocabulary_size method
- token_to_id method
- id_to_token method
字节分词器
- ByteTokenizer class
- tokenize method
- detokenize method
- get_vocabulary method
- vocabulary_size method
- token_to_id method
- id_to_token method
Unicode码点分词器
- UnicodeCodepointTokenizer class
- tokenize method
- detokenize method
- get_vocabulary method
- vocabulary_size method
- token_to_id method
- id_to_token method