Redis语义缓存#

class langchain_redis.cache.RedisSemanticCache(embeddings: Embeddings, redis_url: str = 'redis://localhost:6379', distance_threshold: float = 0.2, ttl: int | None = None, name: str | None = 'llmcache', prefix: str | None = 'llmcache', redis_client: Redis | None = None)[source]#

基于Redis的LangChain语义缓存实现。

该类提供了一种使用Redis和向量相似性搜索的语义缓存机制。它允许基于提示的语义相似性而不是精确的字符串匹配来存储和检索语言模型响应。

redis#

Redis 客户端实例。

Type:: Redis

embeddings#

用于编码提示的嵌入函数。

Type:: Embeddings

cache#

底层的 RedisVL 语义缓存实例。

Type:: RedisVLSemanticCache

Parameters:

embeddings (Embeddings) – 用于编码提示的嵌入函数。
redis_url (str) – 要连接的Redis实例的URL。默认为“redis://localhost:6379”。
distance_threshold (float) – 考虑缓存命中的最大距离。默认值为0.2。
ttl (可选[int]) – 缓存条目的生存时间，以秒为单位。默认为 None（无过期时间）。
name (可选[str]) – 缓存索引的名称。默认为“llmcache”。
prefix (可选[str]) – 存储在Redis中的所有键的前缀。默认为“llmcache”。
redis (可选[Redis]) – 一个现有的 Redis 客户端实例。如果提供了，redis_url 将被忽略。
redis_client (可选[Redis])

示例

from langchain_redis import RedisSemanticCache
from langchain_openai import OpenAIEmbeddings
from langchain_core.globals import set_llm_cache

embeddings = OpenAIEmbeddings()
semantic_cache = RedisSemanticCache(
    embeddings=embeddings,
    redis_url="redis://localhost:6379",
    distance_threshold=0.1
)

set_llm_cache(semantic_cache)

# Now, when you use an LLM, it will automatically use this semantic cache

注意

此缓存使用向量相似性搜索来查找语义上相似的提示。
distance_threshold 决定了提示必须有多相似才能触发缓存命中。
降低 distance_threshold 可以提高精度，但可能会减少缓存命中率。
缓存使用RedisVL库进行高效的向量存储和检索。
语义缓存比精确匹配更加灵活，允许对语义相似但不完全相同的提示进行缓存命中。

方法

`__init__`(embeddings[, redis_url, ...])
`aclear`(**kwargs)	异步清除缓存，可以接受额外的关键字参数。
`alookup`(prompt, llm_string)	基于提示和llm_string的异步查找。
`aupdate`(prompt, llm_string, return_val)	基于提示和llm_string异步更新缓存。
`clear`(**kwargs)	清除Redis语义缓存中的所有条目。
`lookup`(prompt, llm_string)	在之前的语言模型调用中查找结果
`name`()	获取语义缓存索引的名称。
`update`(prompt, llm_string, return_val)	使用给定提示的新结果更新语义缓存

__init__(embeddings: Embeddings, redis_url: str = 'redis://localhost:6379', distance_threshold: float = 0.2, ttl: int | None = None, name: str | None = 'llmcache', prefix: str | None = 'llmcache', redis_client: Redis | None = None)[source]#

Parameters:

embeddings (Embeddings)
redis_url (str)
distance_threshold (float)
ttl (int | None)
名称 (字符串 | 无)
prefix (str | None)
redis_client (Redis | None)

async aclear(**kwargs: Any) → None[source]#

异步清除缓存，可以接受额外的关键字参数。

Parameters:: kwargs (任意)
Return type:: 无

async alookup(prompt: str, llm_string: str) → Sequence[Generation] | None[source]#

基于提示和llm_string的异步查找。

缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。

Parameters:

prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。
llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称、温度、停止标记、最大标记等）。这些调用参数被序列化为字符串表示。

Returns:

在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。缓存的值是 Generations（或其子类）的列表。

Return type:

序列[生成] | 无

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]#

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存的键。该键应与查找方法的键匹配。

Parameters:

prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。
llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称、温度、停止标记、最大标记等）。这些调用参数被序列化为字符串表示。
return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。

Return type:

无

clear(**kwargs: Any) → None[source]#

清除Redis语义缓存中的所有条目。

此方法从语义缓存中移除所有缓存条目。

Parameters:: **kwargs (Any) – 额外的关键字参数。目前未使用，但包含用于潜在的未来扩展。
Returns:: 无
Return type:: 无

示例

from langchain_openai import OpenAIEmbeddings

cache = RedisSemanticCache(
    embeddings=OpenAIEmbeddings(),
    redis_url="redis://localhost:6379",
    name="my_semantic_cache"
)

# Add some entries to the cache
cache.update(
  "What is the capital of France?",
  "llm1",
  [Generation(text="Paris")]
)
cache.update(
  "Who wrote Romeo and Juliet?",
  "llm2",
  [Generation(text="Shakespeare")]
)

# Clear all entries
cache.clear()

# After this, all entries in the semantic cache will be removed

注意

此方法清除语义缓存中的所有条目，无论其内容或相似性如何。
它使用底层缓存实现的clear方法，该方法有效地移除所有条目。
此操作不可逆。在调用此方法之前，请确保您想要清除所有缓存的数据。
清除后，缓存将为空，但索引结构将保持不变，并准备好接收新条目。
此方法对于重置缓存或清除旧数据非常有用，特别是在查询的性质或嵌入模型发生显著变化时。

lookup(prompt: str, llm_string: str) → Sequence[Generation] | None[source]#

Look up the result of a previous language model call in the: Redis语义缓存。

此方法检查是否存在语义相似提示和相同语言模型组合的缓存结果。

Parameters:

prompt (str) – 用于查找缓存结果的输入提示。
llm_string (str) – 语言模型及其参数的字符串表示。

Returns:

如果找到语义上相似的缓存结果: 提示，

或者如果缓存中没有合适的匹配项，则为None。结果通常是一个包含单个Generation对象的列表。

Return type:

可选[RETURN_VAL_TYPE]

示例

from langchain_openai import OpenAIEmbeddings
cache = RedisSemanticCache(
    embeddings=OpenAIEmbeddings(),
    redis_url="redis://localhost:6379"
)
prompt = "What's the capital city of France?"
llm_string = "openai/gpt-3.5-turbo"

result = cache.lookup(prompt, llm_string)
if result:
    print("Semantic cache hit:", result[0].text)
else:
    print("Semantic cache miss")

注意

此方法使用向量相似性搜索来查找语义上相似的提示。
提示使用提供的嵌入函数进行嵌入。
该方法检查在缓存初始化期间指定的距离阈值内的缓存结果。
如果多个结果在阈值内，则返回最相似的一个。
llm_string 用于确保缓存的结果来自相同的语言模型。
此方法通常由LangChain内部调用，但也可以直接用于手动缓存交互。
与精确匹配不同，这可能会返回与输入语义相似但不完全相同的结果。

name() → str[source]#

获取语义缓存索引的名称。

此方法返回用于Redis中语义缓存的索引名称。

Returns:: 语义缓存索引的名称。
Return type:: 字符串

示例

from langchain_openai import OpenAIEmbeddings

cache = RedisSemanticCache(
    embeddings=OpenAIEmbeddings(),
    redis_url="redis://localhost:6379",
    name="my_custom_cache"
)

index_name = cache.name()
print(f"The semantic cache is using index: {index_name}")

注意

索引名称在 RedisSemanticCache 初始化时设置。
如果在初始化期间没有提供自定义名称，则使用默认名称。
此名称在内部用于识别和管理Redis中的语义缓存。
了解索引名称对于调试或在此缓存接口之外直接与Redis数据库进行交互非常有用。

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[来源]#

Update the semantic cache with a new result for a given prompt: 和语言模型。

此方法将新结果存储在Redis语义缓存中，针对指定的提示和语言模型组合，使用向量嵌入进行语义相似性。

Parameters:

prompt (str) – 与结果相关的输入提示。
llm_string (str) – 语言模型及其参数的字符串表示。
return_val (RETURN_VAL_TYPE) – 要缓存的结果，通常是一个包含单个Generation对象的列表。

Returns:

无

Return type:

无

示例

from langchain_core.outputs import Generation
from langchain_openai import OpenAIEmbeddings

cache = RedisSemanticCache(
    embeddings=OpenAIEmbeddings(),
    redis_url="redis://localhost:6379"
)
prompt = "What is the capital of France?"
llm_string = "openai/gpt-3.5-turbo"
result = [Generation(text="The capital of France is Paris.")]

cache.update(prompt, llm_string, result)

注意

该方法使用提供的嵌入函数将提示转换为向量。
向量与提示、llm_string 和结果一起存储在 Redis 缓存中。
如果在初始化缓存时指定了TTL（生存时间），它将应用于此条目。
此方法通常由LangChain在语言模型生成响应后内部调用，但也可以直接用于手动缓存更新。
与精确匹配缓存不同，这允许以后进行语义相似性查找。
如果缓存中已经包含非常相似的条目，这将添加一个新条目而不是覆盖。
缓存的有效性取决于所使用的嵌入函数的质量。

使用 RedisSemanticCache 的示例