字符文本分割器#
- class langchain_text_splitters.character.CharacterTextSplitter(separator: str = '\n\n', is_separator_regex: bool = False, **kwargs: Any)[source]#
查看字符的文本分割。
创建一个新的TextSplitter。
方法
__init__([separator, is_separator_regex])创建一个新的TextSplitter。
atransform_documents(documents, **kwargs)异步转换文档列表。
create_documents(texts[, metadatas])从文本列表中创建文档。
from_huggingface_tokenizer(tokenizer, **kwargs)使用HuggingFace分词器来计算长度的文本分割器。
from_tiktoken_encoder([encoding_name, ...])使用tiktoken编码器来计算长度的文本分割器。
split_documents(documents)拆分文档。
split_text(text)分割传入的文本并返回块。
transform_documents(documents, **kwargs)通过拆分文档来转换文档序列。
- Parameters:
separator (str)
is_separator_regex (布尔值)
kwargs (Any)
- __init__(separator: str = '\n\n', is_separator_regex: bool = False, **kwargs: Any) None[source]#
创建一个新的TextSplitter。
- Parameters:
separator (str)
is_separator_regex (布尔值)
kwargs (Any)
- Return type:
无
- async atransform_documents(documents: Sequence[Document], **kwargs: Any) Sequence[Document]#
异步转换文档列表。
- create_documents(texts: List[str], metadatas: List[dict] | None = None) List[Document]#
从文本列表创建文档。
- Parameters:
文本 (列表[字符串])
metadatas (列表[字典] | 无)
- Return type:
列表[文档]
- classmethod from_huggingface_tokenizer(tokenizer: Any, **kwargs: Any) TextSplitter#
使用HuggingFace分词器来计算长度的文本分割器。
- Parameters:
tokenizer (任意)
kwargs (Any)
- Return type:
- classmethod from_tiktoken_encoder(encoding_name: str = 'gpt2', model_name: str | None = None, allowed_special: Literal['all'] | AbstractSet[str] = {}, disallowed_special: Literal['all'] | Collection[str] = 'all', **kwargs: Any) TS#
使用tiktoken编码器来计算长度的文本分割器。
- Parameters:
encoding_name (str)
model_name (str | None)
allowed_special (Literal['all'] | ~typing.AbstractSet[str])
disallowed_special (Literal['all'] | ~typing.Collection[str])
kwargs (Any)
- Return type:
TS
使用CharacterTextSplitter的示例
