GPTCache#
- class langchain_community.cache.GPTCache(init_func: Callable[[Any, str], None] | Callable[[Any], None] | None = None)[source]#
使用GPTCache作为后端的缓存。
通过传入初始化函数进行初始化（默认：None）。
- Parameters:
init_func (可选[Callable[[Any], None]]) – 初始化 GPTCache 函数
(默认 – None)
示例： .. code-block:: python
# 使用自定义初始化函数初始化GPTCache import gptcache from gptcache.processor.pre import get_prompt from gptcache.manager.factory import get_data_manager from langchain_community.globals import set_llm_cache
# 避免使用相同文件的多个缓存， 导致不同的llm模型缓存相互影响
- def init_gptcache(cache_obj: gptcache.Cache, llm str):
- cache_obj.init(
pre_embedding_func=get_prompt, data_manager=manager_factory(
manager=”map”, data_dir=f”map_cache_{llm}”
),
)
set_llm_cache(GPTCache(init_gptcache))
方法
__init__([init_func])通过传入初始化函数进行初始化（默认：None）。
aclear(**kwargs)异步清除缓存，可以接受额外的关键字参数。
alookup(prompt, llm_string)基于提示和llm_string的异步查找。
aupdate(prompt, llm_string, return_val)基于提示和llm_string异步更新缓存。
clear(**kwargs)清除缓存。
lookup(prompt, llm_string)查找缓存数据。
update(prompt, llm_string, return_val)更新缓存。
- __init__(init_func: Callable[[Any, str], None] | Callable[[Any], None] | None = None)[source]#
通过传入初始化函数进行初始化（默认：None）。
- Parameters:
init_func (可选[Callable[[Any], None]]) – 初始化 GPTCache 函数
(默认 – None)
示例： .. code-block:: python
# 使用自定义初始化函数初始化GPTCache import gptcache from gptcache.processor.pre import get_prompt from gptcache.manager.factory import get_data_manager from langchain_community.globals import set_llm_cache
# 避免使用相同文件的多个缓存， 导致不同的llm模型缓存相互影响
- def init_gptcache(cache_obj: gptcache.Cache, llm str):
- cache_obj.init(
pre_embedding_func=get_prompt, data_manager=manager_factory(
manager=”map”, data_dir=f”map_cache_{llm}”
),
)
set_llm_cache(GPTCache(init_gptcache))
- async aclear(**kwargs: Any) None#
异步清除缓存，可以接受额外的关键字参数。
- Parameters:
kwargs (任意)
- Return type:
无
- async alookup(prompt: str, llm_string: str) Sequence[Generation] | None#
基于提示和llm_string的异步查找。
缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。
- Parameters:
prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。
llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。
- Returns:
在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。 缓存的值是 Generations（或其子类）的列表。
- Return type:
序列[生成] | 无
- async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) None#
根据提示和llm_string异步更新缓存。
提示和llm_string用于生成缓存的键。 该键应与查找方法的键匹配。
- Parameters:
prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。
llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。
return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。
- Return type:
无
- lookup(prompt: str, llm_string: str) Sequence[Generation] | None[来源]#
查找缓存数据。 首先，使用llm_string参数检索相应的缓存对象， 然后根据prompt从缓存中检索数据。
- Parameters:
prompt (str)
llm_string (str)
- Return type:
序列[生成] | 无
- update(prompt: str, llm_string: str, return_val: Sequence[Generation]) None[source]#
更新缓存。 首先，使用llm_string参数检索相应的缓存对象， 然后将prompt和return_val存储在缓存对象中。
- Parameters:
prompt (str)
llm_string (str)
return_val (Sequence[Generation])
- Return type:
无
使用GPTCache的示例