Momento缓存

class langchain_community.cache.MomentoCache(cache_client: momento.CacheClient, cache_name: str, *, ttl: timedelta | None = None, ensure_cache_exists: bool = True)

使用Momento作为后端的缓存。参见 https://gomomento.com/

使用Momento作为后端实例化一个提示缓存。

注意：要实例化传递给MomentoCache的缓存客户端，您必须拥有一个Momento账户。请参阅https://gomomento.com/。

Parameters:

• cache_client (CacheClient) – Momento 缓存客户端。

• cache_name (str) – 用于存储数据的缓存名称。

• ttl (可选[timedelta], 可选) – 缓存项的生存时间。 默认为 None，即使用客户端的默认 TTL。

• ensure_cache_exists (bool, optional) – 如果缓存不存在，则创建缓存。默认为 True。

Raises:

• ImportError – 未安装Momento python包。

• TypeError – cache_client 不是 momento.CacheClientObject 类型

• ValueError – ttl 不为空且非负

方法

__init__(cache_client, cache_name, *[, ttl, ...])	使用Momento作为后端实例化一个提示缓存。
aclear(**kwargs)	异步清除缓存，可以接受额外的关键字参数。
alookup(prompt, llm_string)	基于提示和llm_string的异步查找。
aupdate(prompt, llm_string, return_val)	异步更新基于提示和llm_string的缓存。
clear(**kwargs)	清除缓存。
from_client_params(cache_name, ttl, *[, ...])	从CacheClient参数构建缓存。
lookup(prompt, llm_string)	通过提示和相关的模型及设置查找缓存中的llm生成内容。
update(prompt, llm_string, return_val)	将LLM生成的内容存储在缓存中。

__init__(cache_client: momento.CacheClient, cache_name: str, *, ttl: timedelta | None = None, ensure_cache_exists: bool = True)

使用Momento作为后端实例化一个提示缓存。

注意：要实例化传递给MomentoCache的缓存客户端，您必须拥有一个Momento账户。请参阅https://gomomento.com/。

Parameters:

• cache_client (CacheClient) – Momento 缓存客户端。

• cache_name (str) – 用于存储数据的缓存名称。

• ttl (可选[timedelta], 可选) – 缓存项的生存时间。 默认为 None，即使用客户端的默认 TTL。

• ensure_cache_exists (bool, optional) – 如果缓存不存在，则创建缓存。默认为 True。

Raises:

• ImportError – 未安装Momento python包。

• TypeError – cache_client 不是 momento.CacheClientObject 类型

• ValueError – ttl 不为空且非负

async aclear(**kwargs: Any) → None

异步清除缓存，可以接受额外的关键字参数。

Parameters:

kwargs (任意)

Return type:

无

async alookup(prompt: str, llm_string: str) → Sequence[Generation] | None

基于提示和llm_string的异步查找。

缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。

Parameters:

• prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

• llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

Returns:

在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。 缓存的值是 Generations（或其子类）的列表。

Return type:

序列[生成] | 无

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存的键。 该键应与查找方法的键匹配。

Parameters:

• prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

• llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

• return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。

Return type:

无

clear(**kwargs: Any) → None

清除缓存。

Raises:

SdkException – Momento 服务或网络错误

Parameters:

kwargs (任意)

Return type:

无

classmethod from_client_params(cache_name: str, ttl: timedelta, *, configuration: momento.config.Configuration | None = None, api_key: str | None = None, auth_token: str | None = None, **kwargs: Any) → MomentoCache

从CacheClient参数构建缓存。

Parameters:

• cache_name (str)

• ttl (timedelta)

• 配置 (可选[momento.config.Configuration])

• api_key (可选[str])

• auth_token (可选[str])

• kwargs (Any)

Return type:

MomentoCache

lookup(prompt: str, llm_string: str) → Sequence[Generation] | None

通过提示和相关模型及设置查找缓存中的llm生成。

Parameters:

• prompt (str) – 通过语言模型运行的提示。

• llm_string (str) – 语言模型版本和设置。

Raises:

SdkException – Momento 服务或网络错误

Returns:

语言模型生成列表。

Return type:

可选[RETURN_VAL_TYPE]

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

将llm生成的内容存储在缓存中。

Parameters:

• prompt (str) – 通过语言模型运行的提示。

• llm_string (str) – 语言模型字符串。

• return_val (RETURN_VAL_TYPE) – 语言模型生成的列表。

Raises:

• SdkException – Momento 服务或网络错误

• 异常 – 意外响应

Return type:

无

使用 MomentoCache 的示例

• 模型缓存

• Momento