langchain_core.caches.BaseCache

class langchain_core.caches.BaseCache

这个接口为LLMs和Chat模型提供了一个缓存层。

缓存接口包括以下方法：

• lookup: 根据提示和llm_string查找值。

• update: 根据提示和llm_string更新缓存。

• clear: 清除缓存。

此外，缓存接口还提供了每个方法的异步版本。

异步方法的默认实现是在执行器中运行同步方法。建议重写异步方法并提供异步实现，以避免不必要的开销。

Methods

__init__()
aclear(**kwargs)	清除可以接受额外关键字参数的缓存。
alookup(prompt, llm_string)	根据提示和llm_string进行查找。
aupdate(prompt, llm_string, return_val)	根据提示和llm_string更新缓存。
clear(**kwargs)	清除可以接受额外关键字参数的缓存。
lookup(prompt, llm_string)	根据提示和llm_string进行查找。
update(prompt, llm_string, return_val)	根据提示和llm_string更新缓存。

__init__()

async aclear(**kwargs: Any) → None

清除可以接受额外关键字参数的缓存。

Parameters

kwargs (Any) –

Return type

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

根据提示和llm_string进行查找。

期望缓存实现从提示和llm_string的2元组中生成一个键（例如，通过使用分隔符将它们连接起来）。

参数：

prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

返回：

在缓存未命中时，返回None。在缓存命中时，返回缓存的值。 缓存的值是Generations（或子类）的列表。

Parameters

• prompt (str) –

• llm_string (str) –

Return type

Optional[Sequence[Generation]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string更新缓存。

提示和llm_string用于生成缓存的键。 键应该与查找方法的键匹配。

参数：

prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

return_val：要缓存的值。该值是Generations的列表（或子类）。

Parameters

• prompt (str) –

• llm_string (str) –

• return_val (Sequence[Generation]) –

Return type

None

abstract clear(**kwargs: Any) → None

清除可以接受额外关键字参数的缓存。

Parameters

kwargs (Any) –

Return type

None

abstract lookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

根据提示和llm_string进行查找。

期望缓存实现从提示和llm_string的2元组中生成一个键（例如，通过使用分隔符将它们连接起来）。

参数：

prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

返回：

在缓存未命中时，返回None。在缓存命中时，返回缓存的值。 缓存的值是Generations（或子类）的列表。

Parameters

• prompt (str) –

• llm_string (str) –

Return type

Optional[Sequence[Generation]]

abstract update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string更新缓存。

提示和llm_string用于生成缓存的键。 键应该与查找方法的键匹配。

参数：

prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

return_val：要缓存的值。该值是Generations的列表（或子类）。

Parameters

• prompt (str) –

• llm_string (str) –

• return_val (Sequence[Generation]) –

Return type

None