split_text_on_tokens# langchain_text_splitters.base.split_text_on_tokens(*, text: str, tokenizer: Tokenizer) → List[str][source]# 分割传入的文本并使用分词器返回块。 Parameters: 文本 (str) tokenizer (Tokenizer) Return type: 列表[str]
