langchain_community.cache.GPTCache¶
- class langchain_community.cache.GPTCache(init_func: Optional[Union[Callable[[Any, str], None], Callable[[Any], None]]] = None)[source]¶
使用GPTCache作为后端的缓存。
通过传递init函数进行初始化（默认值：None）。
- 参数：
init_func（Optional[Callable[[Any], None]]）：初始化`GPTCache`函数（默认值：None）
示例： .. code-block:: python
# 使用自定义init函数初始化GPTCache import gptcache from gptcache.processor.pre import get_prompt from gptcache.manager.factory import get_data_manager from langchain_community.globals import set_llm_cache
# 避免多个缓存使用相同的文件， 导致不同的llm模型缓存相互影响
- def init_gptcache(cache_obj: gptcache.Cache, llm str):
- cache_obj.init(
pre_embedding_func=get_prompt, data_manager=manager_factory(
manager=”map”, data_dir=f”map_cache_{llm}”
),
)
set_llm_cache(GPTCache(init_gptcache))
Methods
__init__([init_func])通过传递init函数进行初始化（默认值：None）。
aclear(**kwargs)清除可以接受额外关键字参数的缓存。
alookup(prompt, llm_string)根据提示和llm_string进行查找。
aupdate(prompt, llm_string, return_val)根据提示和llm_string更新缓存。
clear(**kwargs)清除缓存。
lookup(prompt, llm_string)查找缓存数据。 首先，使用`llm_string`参数检索相应的缓存对象， 然后根据`prompt`从缓存中检索数据。
update(prompt, llm_string, return_val)更新缓存。 首先，使用`llm_string`参数检索相应的缓存对象， 然后将`prompt`和`return_val`存储在缓存对象中。
- Parameters
init_func (Union[Callable[[Any, str], None], Callable[[Any], None], None]) –
- __init__(init_func: Optional[Union[Callable[[Any, str], None], Callable[[Any], None]]] = None)[source]¶
通过传递init函数进行初始化（默认值：None）。
- 参数：
init_func（Optional[Callable[[Any], None]]）：初始化`GPTCache`函数（默认值：None）
示例： .. code-block:: python
# 使用自定义init函数初始化GPTCache import gptcache from gptcache.processor.pre import get_prompt from gptcache.manager.factory import get_data_manager from langchain_community.globals import set_llm_cache
# 避免多个缓存使用相同的文件， 导致不同的llm模型缓存相互影响
- def init_gptcache(cache_obj: gptcache.Cache, llm str):
- cache_obj.init(
pre_embedding_func=get_prompt, data_manager=manager_factory(
manager=”map”, data_dir=f”map_cache_{llm}”
),
)
set_llm_cache(GPTCache(init_gptcache))
- Parameters
init_func (Optional[Union[Callable[[Any, str], None], Callable[[Any], None]]]) –
- async aclear(**kwargs: Any) None¶
清除可以接受额外关键字参数的缓存。
- Parameters
kwargs (Any) –
- Return type
None
- async alookup(prompt: str, llm_string: str) Optional[Sequence[Generation]]¶
根据提示和llm_string进行查找。
期望缓存实现从提示和llm_string的2元组中生成一个键（例如，通过使用分隔符将它们连接起来）。
- 参数：
- prompt：提示的字符串表示。
对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。
- llm_string：LLM配置的字符串表示。
这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。
- 返回：
在缓存未命中时，返回None。在缓存命中时，返回缓存的值。 缓存的值是Generations（或子类）的列表。
- Parameters
prompt (str) –
llm_string (str) –
- Return type
Optional[Sequence[Generation]]
- async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) None¶
根据提示和llm_string更新缓存。
提示和llm_string用于生成缓存的键。 键应该与查找方法的键匹配。
- 参数：
- prompt：提示的字符串表示。
对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。
- llm_string：LLM配置的字符串表示。
这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。
return_val：要缓存的值。该值是Generations的列表（或子类）。
- Parameters
prompt (str) –
llm_string (str) –
return_val (Sequence[Generation]) –
- Return type
None
- lookup(prompt: str, llm_string: str) Optional[Sequence[Generation]][source]¶
查找缓存数据。 首先，使用`llm_string`参数检索相应的缓存对象， 然后根据`prompt`从缓存中检索数据。
- Parameters
prompt (str) –
llm_string (str) –
- Return type
Optional[Sequence[Generation]]
- update(prompt: str, llm_string: str, return_val: Sequence[Generation]) None[source]¶
更新缓存。 首先，使用`llm_string`参数检索相应的缓存对象， 然后将`prompt`和`return_val`存储在缓存对象中。
- Parameters
prompt (str) –
llm_string (str) –
return_val (Sequence[Generation]) –
- Return type
None