utils

函数

utils.enforce_stop_tokens(text, stop)	一旦出现任何停止词，立即切断文本。
utils.get_num_tokens_anthropic(text)	获取文本字符串中的令牌数量。
utils.get_token_ids_anthropic(text)	获取文本字符串的令牌ID。