tokenize

langchain_core.utils.mustache.tokenize(template: str, def_ldel: str = '{{', def_rdel: str = '}}') → Iterator[tuple[str, str]]

对mustache模板进行标记化。

以生成器的方式对mustache模板进行分词，使用类似文件的对象。它也接受包含模板的字符串。

参数：

template – 一个类似文件的对象，或者是一个mustache模板的字符串

def_ldel – The default left delimiter

(默认情况下为“{{”，符合规范的mustache)

def_rdel – The default right delimiter

(“}}” 默认情况下，如规范兼容的 mustache)

返回：

一个以元组形式生成的mustache标签生成器

– (标签类型, 标签键)

Where tag_type is one of:

• 字面量

• 部分

• 反转部分

• 结束

• 部分

• 不转义

而tag_key要么是键，要么在字面标签的情况下，是字面本身。

Parameters:

• template (str)

• def_ldel (str)

• def_rdel (str)

Return type:

迭代器[元组[字符串, 字符串]]