Python代码文本分割器#
- class langchain_text_splitters.python.PythonCodeTextSplitter(**kwargs: Any)[source]#
尝试按照Python语法分割文本。
初始化一个PythonCodeTextSplitter。
方法
__init__(**kwargs)初始化一个PythonCodeTextSplitter。
atransform_documents(documents, **kwargs)异步转换文档列表。
create_documents(texts[, metadatas])从文本列表中创建文档。
from_huggingface_tokenizer(tokenizer, **kwargs)使用HuggingFace分词器来计算长度的文本分割器。
from_language(language, **kwargs)根据特定语言返回此类的实例。
from_tiktoken_encoder([encoding_name, ...])使用tiktoken编码器来计算长度的文本分割器。
get_separators_for_language(language)获取特定于给定语言的分隔符列表。
split_documents(documents)分割文档。
split_text(text)根据预定义的分隔符将输入文本分割成较小的块。
transform_documents(documents, **kwargs)通过拆分文档来转换文档序列。
- Parameters:
kwargs (任意)
- __init__(**kwargs: Any) None[source]#
初始化一个PythonCodeTextSplitter。
- Parameters:
kwargs (任意)
- Return type:
无
- async atransform_documents(documents: Sequence[Document], **kwargs: Any) Sequence[Document]#
异步转换文档列表。
- create_documents(texts: List[str], metadatas: List[dict] | None = None) List[Document]#
从文本列表创建文档。
- Parameters:
文本 (列表[字符串])
metadatas (列表[字典] | 无)
- Return type:
列表[文档]
- classmethod from_huggingface_tokenizer(tokenizer: Any, **kwargs: Any) TextSplitter#
使用HuggingFace分词器来计算长度的文本分割器。
- Parameters:
tokenizer (任意)
kwargs (Any)
- Return type:
- classmethod from_language(language: Language, **kwargs: Any) RecursiveCharacterTextSplitter#
根据特定语言返回此类的实例。
此方法使用特定于语言的分隔符初始化文本分割器。
- Parameters:
language (Language) – 用于配置文本分割器的语言。
**kwargs (Any) – 用于自定义分割器的额外关键字参数。
- Returns:
为指定语言配置的文本分割器实例。
- Return type:
- classmethod from_tiktoken_encoder(encoding_name: str = 'gpt2', model_name: str | None = None, allowed_special: Literal['all'] | AbstractSet[str] = {}, disallowed_special: Literal['all'] | Collection[str] = 'all', **kwargs: Any) TS#
使用tiktoken编码器来计算长度的文本分割器。
- Parameters:
encoding_name (str)
model_name (str | None)
allowed_special (Literal['all'] | ~typing.AbstractSet[str])
disallowed_special (Literal['all'] | ~typing.Collection[str])
kwargs (Any)
- Return type:
TS
- static get_separators_for_language(language: Language) List[str]#
检索特定于给定语言的分隔符列表。
- Parameters:
语言 (Language) – 获取分隔符的语言。
- Returns:
适用于指定语言的分隔符列表。
- Return type:
列表[str]
- split_text(text: str) List[str]#
根据预定义的分隔符将输入文本分割成较小的块。
- Parameters:
text (str) – 要分割的输入文本。
- Returns:
分割后获得的文本块列表。
- Return type:
列表[str]