Cassandra语义缓存#

class langchain_community.cache.CassandraSemanticCache(session: CassandraSession | None = None, keyspace: str | None = None, embedding: Embeddings | None = None, table_name: str = 'langchain_llm_semantic_cache', distance_metric: str | None = None, score_threshold: float = 0.85, ttl_seconds: int | None = None, skip_provisioning: bool = False, similarity_measure: str = 'dot', setup_mode: CassandraSetupMode = SetupMode.SYNC)[来源]#

使用Cassandra作为向量存储后端的缓存，用于语义（即基于相似性）查找。

示例

import cassio

from langchain_community.cache import CassandraSemanticCache
from langchain_core.globals import set_llm_cache

cassio.init(auto=True)  # Requires env. variables, see CassIO docs

my_embedding = ...

set_llm_cache(CassandraSemanticCache(
    embedding=my_embedding,
    table_name="my_semantic_cache",
))

它使用一个单一的（向量）Cassandra表，并原则上存储来自多个LLM的缓存值，因此LLM的llm_string是行的主键的一部分。

可以选择一个相似性度量（默认：“dot”表示点积）。 选择另一个（“cos”，“l2”）几乎肯定需要调整阈值。 （即使坚持使用“dot”，也可能需要这样做）。

Parameters:

  • session (可选[CassandraSession]) – 一个打开的 Cassandra 会话。 留空以使用全局的 cassio 初始化（见下文）

  • keyspace (可选[str]) – 用于存储缓存的keyspace。 如果未指定，则使用全局的cassio初始化（见下文）

  • embedding (可选[Embeddings]) – 用于语义编码和搜索的嵌入提供者。

  • table_name (str) – 用作缓存的Cassandra（向量）表的名称。对于“简单”使用有一个默认值，但如果你的应用程序中有多个嵌入模型共存（它们不能共享一个缓存表），请记得明确指定不同的表。

  • distance_metric (可选[str]) – ‘similarity_measure’ 参数的别名（见下文）。 由于“distance”术语容易引起误解，为了清晰起见，请优先使用‘similarity_measure’。

  • score_threshold (float) – 用于相似性搜索的截止值的数值

  • ttl_seconds (可选[int]) – 缓存条目的生存时间 (默认值: None, 即永久)

  • similarity_measure (str) – 用于相似性搜索的度量方法。 注意：此参数由‘distance_metric’别名表示 - 然而， 建议使用“相似性”术语，因为此值实际上是相似性（即值越高表示越接近）。 请注意，最多只能提供‘distance_metric’和‘similarity_measure’两个参数中的一个。

  • setup_mode (CassandraSetupMode) – langchain_community.utilities.cassandra.SetupMode 中的一个值。 在 SYNC、ASYNC 和 OFF 之间选择 - 如果 Cassandra 表已经存在，则选择后者以加快初始化速度。

  • skip_provisioning (bool)

注意

当省略会话和键空间参数（或传递为None）时，如果有可用的全局cassio设置，则会回退到这些设置。换句话说，如果之前在任何地方运行过‘cassio.init(…)’，那么基于Cassandra的对象根本不需要指定连接参数。

方法

__init__([session, keyspace, embedding, ...])

aclear(**kwargs)

清除整个语义缓存。

adelete_by_document_id(document_id)

由于这是一个“相似性搜索”缓存，一个有意义的失效模式是首先查找以获取ID，然后使用该ID进行删除。

alookup(prompt, llm_string)

基于提示和llm_string的异步查找。

alookup_with_id(prompt, llm_string)

根据提示和llm_string进行查找。

alookup_with_id_through_llm(prompt, llm[, stop])

aupdate(prompt, llm_string, return_val)

基于提示和llm_string异步更新缓存。

clear(**kwargs)

清除整个语义缓存。

delete_by_document_id(document_id)

鉴于这是一个“相似性搜索”缓存，一个有意义的失效模式是首先查找以获取ID，然后使用该ID进行删除。

lookup(prompt, llm_string)

根据提示和llm_string进行查找。

lookup_with_id(prompt, llm_string)

根据提示和llm_string进行查找。

lookup_with_id_through_llm(prompt, llm[, stop])

update(prompt, llm_string, return_val)

根据提示和llm_string更新缓存。
__init__(session: CassandraSession | None = None, keyspace: str | None = None, embedding: Embeddings | None = None, table_name: str = 'langchain_llm_semantic_cache', distance_metric: str | None = None, score_threshold: float = 0.85, ttl_seconds: int | None = None, skip_provisioning: bool = False, similarity_measure: str = 'dot', setup_mode: CassandraSetupMode = SetupMode.SYNC)[源代码]#
Parameters:

  • session (可选[CassandraSession])

  • keyspace (可选[str])

  • embedding (可选[Embeddings])

  • table_name (str)

  • distance_metric (可选[str])

  • score_threshold (float)

  • ttl_seconds (可选[int])

  • skip_provisioning (bool)

  • similarity_measure (str)

  • setup_mode (CassandraSetupMode)

async aclear(**kwargs: Any) → None[source]#

清除整个语义缓存。

Parameters:

kwargs (任意)

Return type:

无

async adelete_by_document_id(document_id: str) → None[source]#

鉴于这是一个“相似性搜索”缓存，一个有意义的失效模式是首先查找以获取ID，然后使用该ID进行删除。这是针对第二步的。

Parameters:

document_id (str)

Return type:

无

async alookup(prompt: str, llm_string: str) → Sequence[Generation] | None[source]#

基于提示和llm_string的异步查找。

缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。

Parameters:

  • prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

Returns:

在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。 缓存的值是 Generations（或其子类）的列表。

Return type:

序列[生成] | 无

async alookup_with_id(prompt: str, llm_string: str) → Tuple[str, Sequence[Generation]] | None[源代码]#

根据提示和llm_string进行查找。 如果有匹配项，返回(document_id, cached_entry)

Parameters:

  • prompt (str)

  • llm_string (str)

Return type:

元组[str, 序列[生成]] | 无

async alookup_with_id_through_llm(prompt: str, llm: LLM, stop: List[str] | None = None) → Tuple[str, Sequence[Generation]] | None[source]#
Parameters:

  • prompt (str)

  • llm (LLM)

  • stop (列表[字符串] | 无)

Return type:

元组[str, 序列[生成]] | 无

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]#

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存的键。 该键应与查找方法的键匹配。

Parameters:

  • prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

  • return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。

Return type:

无

clear(**kwargs: Any) → None[source]#

清除整个语义缓存。

Parameters:

kwargs (任意)

Return type:

无

delete_by_document_id(document_id: str) → None[source]#

鉴于这是一个“相似性搜索”缓存，一个有意义的失效模式是首先查找以获取ID，然后使用该ID进行删除。这是针对第二步的。

Parameters:

document_id (str)

Return type:

无

lookup(prompt: str, llm_string: str) → Sequence[Generation] | None[source]#

根据提示和llm_string进行查找。

缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。

Parameters:

  • prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

Returns:

在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。 缓存的值是 Generations（或其子类）的列表。

Return type:

序列[生成] | 无

lookup_with_id(prompt: str, llm_string: str) → Tuple[str, Sequence[Generation]] | None[source]#

根据提示和llm_string进行查找。 如果有匹配项，返回(document_id, cached_entry)

Parameters:

  • prompt (str)

  • llm_string (str)

Return type:

元组[str, 序列[生成]] | 无

lookup_with_id_through_llm(prompt: str, llm: LLM, stop: List[str] | None = None) → Tuple[str, Sequence[Generation]] | None[source]#
Parameters:

  • prompt (str)

  • llm (LLM)

  • stop (列表[字符串] | 无)

Return type:

元组[str, 序列[生成]] | 无

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]#

根据提示和llm_string更新缓存。

提示和llm_string用于生成缓存的键。 该键应与查找方法的键匹配。

Parameters:

  • prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

  • return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。

Return type:

无

使用CassandraSemanticCache的示例