OpenSearch语义缓存

class langchain_community.cache.OpenSearchSemanticCache(opensearch_url: str, embedding: Embeddings, score_threshold: float = 0.2, **kwargs: Any)

使用OpenSearch向量存储后端的缓存

Parameters:

• opensearch_url (str) – 连接到OpenSearch的URL。

• embedding (Embedding) – 用于语义编码和搜索的嵌入提供者。

• score_threshold (float, 0.2)

• kwargs (Any)

示例： .. code-block:: python

导入langchain 从langchain.cache导入OpenSearchSemanticCache 从langchain.embeddings导入OpenAIEmbeddings langchain.llm_cache = OpenSearchSemanticCache(

opensearch_url=”http//localhost:9200”, embedding=OpenAIEmbeddings()

)

方法

__init__(opensearch_url, embedding[, ...])
aclear(**kwargs)	异步清除缓存，可以接受额外的关键字参数。
alookup(prompt, llm_string)	基于提示和llm_string的异步查找。
aupdate(prompt, llm_string, return_val)	基于提示和llm_string异步更新缓存。
clear(**kwargs)	清除给定llm_string的语义缓存。
lookup(prompt, llm_string)	根据提示和llm_string进行查找。
update(prompt, llm_string, return_val)	根据提示和llm_string更新缓存。

__init__(opensearch_url: str, embedding: Embeddings, score_threshold: float = 0.2, **kwargs: Any)

Parameters:

• opensearch_url (str) – 连接到OpenSearch的URL。

• embedding (Embedding) – 用于语义编码和搜索的嵌入提供者。

• score_threshold (float, 0.2)

• kwargs (Any)

示例： .. code-block:: python

导入langchain 从langchain.cache导入OpenSearchSemanticCache 从langchain.embeddings导入OpenAIEmbeddings langchain.llm_cache = OpenSearchSemanticCache(

opensearch_url=”http//localhost:9200”, embedding=OpenAIEmbeddings()

)

async aclear(**kwargs: Any) → None

异步清除缓存，可以接受额外的关键字参数。

Parameters:

kwargs (任意)

Return type:

无

async alookup(prompt: str, llm_string: str) → Sequence[Generation] | None

基于提示和llm_string的异步查找。

缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。

Parameters:

• prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

• llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

Returns:

在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。 缓存的值是 Generations（或其子类）的列表。

Return type:

序列[生成] | 无

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存的键。 该键应与查找方法的键匹配。

Parameters:

• prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

• llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

• return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。

Return type:

无

clear(**kwargs: Any) → None

清除给定llm_string的语义缓存。

Parameters:

kwargs (任意)

Return type:

无

lookup(prompt: str, llm_string: str) → Sequence[Generation] | None

根据提示和llm_string进行查找。

Parameters:

• prompt (str)

• llm_string (str)

Return type:

序列[生成] | 无

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string更新缓存。

Parameters:

• prompt (str)

• llm_string (str)

• return_val (Sequence[Generation])

Return type:

无

使用 OpenSearchSemanticCache 的示例

• 模型缓存