langchain_community.cache.CassandraSemanticCache

class langchain_community.cache.CassandraSemanticCache(session: Optional[CassandraSession] = None, keyspace: Optional[str] = None, embedding: Optional[Embeddings] = None, table_name: str = 'langchain_llm_semantic_cache', distance_metric: Optional[str] = None, score_threshold: float = 0.85, ttl_seconds: Optional[int] = None, skip_provisioning: bool = False, similarity_measure: str = 'dot', setup_mode: CassandraSetupMode = SetupMode.SYNC)[source]

使用Cassandra作为语义（即基于相似性的）查找的向量存储后端的缓存。

示例：

import cassio

from langchain_community.cache import CassandraSemanticCache
from langchain_core.globals import set_llm_cache

cassio.init(auto=True)  # 需要环境变量，请参阅CassIO文档

my_embedding = ...

set_llm_cache(CassandraSemanticCache(
    embedding=my_embedding,
    table_name="my_semantic_cache",
))

它使用单个（向量）Cassandra表，原则上存储来自多个LLM的缓存值，因此LLM的llm_string是行的主键的一部分。

可以选择相似性度量（默认值为“dot”表示点积）。选择另一个度量（“cos”，“l2”）几乎肯定需要阈值调整。（即使坚持使用“dot”，也可能需要这样做）。

参数：
session：一个打开的Cassandra会话。

留空以使用全局cassio init（见下文）

keyspace：用于存储缓存的键空间。

留空以使用全局cassio init（见下文）

embedding：用于语义编码和搜索的嵌入提供程序。 table_name：用作缓存的Cassandra（向量）表的名称。对于“简单”用法有一个默认值，但请记住，如果应用程序中存在多个嵌入模型，则明确指定不同的表（它们不能共享一个缓存表）。 distance_metric：’similarity_measure’参数的别名（见下文）。

由于“distance”术语具有误导性，请优先选择“similarity_measure”以确保清晰性。

score_threshold：用作相似性搜索的截止值的数值。 ttl_seconds：缓存条目的存活时间（默认值：无，即永久） similarity_measure：用于相似性搜索的度量。

注意：此参数由’distance_metric’别名 - 但建议使用“similarity”术语，因为该值实际上是相似性（即更高表示更接近）。 请注意，’distance_metric’和’similarity_measure’两个参数中最多只能提供一个。

setup_mode：langchain_community.utilities.cassandra.SetupMode中的一个值。

选择SYNC、ASYNC和OFF之间的值 - 如果Cassandra表已经存在，则选择OFF以进行更快的初始化。

注意：

当session和keyspace参数被省略（或传递为None）时，如果有任何全局可用的cassio设置，则会回退到这些设置。 换句话说，如果先前在代码的任何地方执行过’cassio.init(…)’，则基于Cassandra的对象无需指定连接参数。

Methods

__init__([session, keyspace, embedding, ...])

aclear(**kwargs)

清除*整个*语义缓存。

adelete_by_document_id(document_id)

考虑到这是一个“相似性搜索”缓存，一个合理的失效模式是首先进行查找以获取一个ID，然后使用该ID进行删除。这是第二步。

alookup(prompt, llm_string)

根据提示和llm_string进行查找。

alookup_with_id(prompt, llm_string)

根据提示和llm_string进行查找。 如果有匹配项，则返回（document_id，cached_entry）

alookup_with_id_through_llm(prompt, llm[, stop])

aupdate(prompt, llm_string, return_val)

根据提示和llm_string更新缓存。

clear(**kwargs)

清除*整个*语义缓存。

delete_by_document_id(document_id)

考虑到这是一个“相似性搜索”缓存，一个合理的失效模式是首先进行查找以获取一个ID，然后使用该ID进行删除。这是第二步。

lookup(prompt, llm_string)

根据提示和llm_string进行查找。

lookup_with_id(prompt, llm_string)

根据提示和llm_string进行查找。 如果有匹配项，则返回（document_id，cached_entry）

lookup_with_id_through_llm(prompt, llm[, stop])

update(prompt, llm_string, return_val)

根据提示和llm_string更新缓存。
Parameters

  • session (Optional[CassandraSession]) –

  • keyspace (Optional[str]) –

  • embedding (Optional[Embeddings]) –

  • table_name (str) –

  • distance_metric (Optional[str]) –

  • score_threshold (float) –

  • ttl_seconds (Optional[int]) –

  • skip_provisioning (bool) –

  • similarity_measure (str) –

  • setup_mode (CassandraSetupMode) –

__init__(session: Optional[CassandraSession] = None, keyspace: Optional[str] = None, embedding: Optional[Embeddings] = None, table_name: str = 'langchain_llm_semantic_cache', distance_metric: Optional[str] = None, score_threshold: float = 0.85, ttl_seconds: Optional[int] = None, skip_provisioning: bool = False, similarity_measure: str = 'dot', setup_mode: CassandraSetupMode = SetupMode.SYNC)[source]
Parameters

  • session (Optional[CassandraSession]) –

  • keyspace (Optional[str]) –

  • embedding (Optional[Embeddings]) –

  • table_name (str) –

  • distance_metric (Optional[str]) –

  • score_threshold (float) –

  • ttl_seconds (Optional[int]) –

  • skip_provisioning (bool) –

  • similarity_measure (str) –

  • setup_mode (CassandraSetupMode) –

async aclear(**kwargs: Any) → None[source]

清除*整个*语义缓存。

Parameters

kwargs (Any) –

Return type

None

async adelete_by_document_id(document_id: str) → None[source]

考虑到这是一个“相似性搜索”缓存，一个合理的失效模式是首先进行查找以获取一个ID，然后使用该ID进行删除。这是第二步。

Parameters

document_id (str) –

Return type

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]][source]

根据提示和llm_string进行查找。

期望缓存实现从提示和llm_string的2元组中生成一个键（例如，通过使用分隔符将它们连接起来）。

参数：
prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

返回：

在缓存未命中时，返回None。在缓存命中时，返回缓存的值。 缓存的值是Generations（或子类）的列表。

Parameters

  • prompt (str) –

  • llm_string (str) –

Return type

Optional[Sequence[Generation]]

async alookup_with_id(prompt: str, llm_string: str) → Optional[Tuple[str, Sequence[Generation]]][source]

根据提示和llm_string进行查找。 如果有匹配项，则返回（document_id，cached_entry）

Parameters

  • prompt (str) –

  • llm_string (str) –

Return type

Optional[Tuple[str, Sequence[Generation]]]

async alookup_with_id_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → Optional[Tuple[str, Sequence[Generation]]][source]
Parameters

  • prompt (str) –

  • llm (LLM) –

  • stop (Optional[List[str]]) –

Return type

Optional[Tuple[str, Sequence[Generation]]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]

根据提示和llm_string更新缓存。

提示和llm_string用于生成缓存的键。 键应该与查找方法的键匹配。

参数：
prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

return_val：要缓存的值。该值是Generations的列表（或子类）。

Parameters

  • prompt (str) –

  • llm_string (str) –

  • return_val (Sequence[Generation]) –

Return type

None

clear(**kwargs: Any) → None[source]

清除*整个*语义缓存。

Parameters

kwargs (Any) –

Return type

None

delete_by_document_id(document_id: str) → None[source]

考虑到这是一个“相似性搜索”缓存，一个合理的失效模式是首先进行查找以获取一个ID，然后使用该ID进行删除。这是第二步。

Parameters

document_id (str) –

Return type

None

lookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]][source]

根据提示和llm_string进行查找。

期望缓存实现从提示和llm_string的2元组中生成一个键（例如，通过使用分隔符将它们连接起来）。

参数：
prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

返回：

在缓存未命中时，返回None。在缓存命中时，返回缓存的值。 缓存的值是Generations（或子类）的列表。

Parameters

  • prompt (str) –

  • llm_string (str) –

Return type

Optional[Sequence[Generation]]

lookup_with_id(prompt: str, llm_string: str) → Optional[Tuple[str, Sequence[Generation]]][source]

根据提示和llm_string进行查找。 如果有匹配项，则返回（document_id，cached_entry）

Parameters

  • prompt (str) –

  • llm_string (str) –

Return type

Optional[Tuple[str, Sequence[Generation]]]

lookup_with_id_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → Optional[Tuple[str, Sequence[Generation]]][source]
Parameters

  • prompt (str) –

  • llm (LLM) –

  • stop (Optional[List[str]]) –

Return type

Optional[Tuple[str, Sequence[Generation]]]

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]

根据提示和llm_string更新缓存。

提示和llm_string用于生成缓存的键。 键应该与查找方法的键匹配。

参数：
prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

return_val：要缓存的值。该值是Generations的列表（或子类）。

Parameters

  • prompt (str) –

  • llm_string (str) –

  • return_val (Sequence[Generation]) –

Return type

None

Examples using CassandraSemanticCache