langchain_core.utils.mustache.tokenize

langchain_core.utils.mustache.tokenize(template: str, def_ldel: str = '{{', def_rdel: str = '}}') → Iterator[Tuple[str, str]]

将一个mustache模板进行标记化。

以生成器的方式对mustache模板进行标记化，使用类似文件的对象。也接受包含模板的字符串。

参数：

template – 类似文件的对象，或者包含mustache模板的字符串

def_ldel – 默认左定界符

（默认为”{{”，与规范兼容的mustache一样）

def_rdel – 默认右定界符

（默认为”}}”，与规范兼容的mustache一样）

返回：

一个以元组形式表示的mustache标记的生成器

– (tag_type, tag_key)

其中，tag_type 是以下之一：

• 字面量

• 区块

• 反转区块

• 结束

• 部分

• 无转义

而 tag_key 则是键，或者在字面量标记的情况下是字面量本身。

Parameters

• template (str) –

• def_ldel (str) –

• def_rdel (str) –

Return type

Iterator[Tuple[str, str]]