Skip to content

Langchain

节点解析器。

LangchainNodeParser #

Bases: TextSplitter

基本的文本分割器封装。

TODO: 弄清楚如何使其具有元数据意识。

Source code in llama_index/core/node_parser/text/langchain.py 
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
class LangchainNodeParser(TextSplitter):
    """基本的文本分割器封装。

TODO: 弄清楚如何使其具有元数据意识。"""

    _lc_splitter: "LC_TextSplitter" = PrivateAttr()

    def __init__(
        self,
        lc_splitter: "LC_TextSplitter",
        callback_manager: Optional[CallbackManager] = None,
        include_metadata: bool = True,
        include_prev_next_rel: bool = True,
        id_func: Optional[Callable[[int, Document], str]] = None,
    ):
        """使用参数进行初始化。"""
        id_func = id_func or default_id_func

        super().__init__(
            callback_manager=callback_manager or CallbackManager(),
            include_metadata=include_metadata,
            include_prev_next_rel=include_prev_next_rel,
            id_func=id_func,
        )
        self._lc_splitter = lc_splitter

    def split_text(self, text: str) -> List[str]:
        """将文本分割成句子。"""
        return self._lc_splitter.split_text(text)

split_text #

split_text(text: str) -> List[str]

将文本分割成句子。

Source code in llama_index/core/node_parser/text/langchain.py 
41
42
43
def split_text(self, text: str) -> List[str]:
    """将文本分割成句子。"""
    return self._lc_splitter.split_text(text)