base

类

base.Language(value[, names, module, ...])	编程语言的枚举。
base.TextSplitter(chunk_size, chunk_overlap, ...)	用于将文本分割成块的接口。
base.TokenTextSplitter([encoding_name, ...])	使用模型分词器将文本分割为标记。
base.Tokenizer(chunk_overlap, ...)	Tokenizer 数据类。

函数

base.split_text_on_tokens(*, text, tokenizer)

使用分词器分割传入的文本并返回块。