AstraDBSemanticCache#

class langchain_astradb.cache.AstraDBSemanticCache(*, collection_name: str = 'langchain_astradb_semantic_cache', token: str | TokenProvider | None = None, api_endpoint: str | None = None, namespace: str | None = None, environment: str | None = None, setup_mode: SetupMode = SetupMode.SYNC, pre_delete_collection: bool = False, embedding: Embeddings, metric: str | None = None, similarity_threshold: float = 0.85, ext_callers: list[tuple[str | None, str | None] | str | None] | None = None, astra_db_client: AstraDB | None = None, async_astra_db_client: AsyncAstraDB | None = None)[source]#

Astra DB 语义缓存。

使用Astra DB作为向量存储后端的缓存，用于语义（即基于相似性）查找。

它使用一个单一的（向量）集合，并且可以存储来自多个LLM的缓存值，因此LLM的‘llm_string’存储在文档元数据中。

您可以选择首选的相似度（或使用API默认值）。 默认的分数阈值是针对默认度量进行调整的。 如果切换到其他距离度量，请仔细自行调整。

Parameters:

  • collection_name (str) – 要创建/使用的Astra DB集合的名称。

  • token (str | TokenProvider | None) – 用于Astra DB的API令牌，可以是字符串形式，也可以是astrapy.authentication.TokenProvider的子类。如果未提供，则会检查环境变量ASTRA_DB_APPLICATION_TOKEN。

  • api_endpoint (str | None) – API端点的完整URL，例如 https://-us-east1.apps.astra.datastax.com。如果未提供， 则检查环境变量 ASTRA_DB_API_ENDPOINT。

  • namespace (str | None) – 创建集合的命名空间（也称为keyspace）。 如果未提供，则检查环境变量 ASTRA_DB_KEYSPACE。 默认为数据库的“默认命名空间”。

  • environment (str | None) – 一个字符串，指定目标数据API的环境。 如果省略，默认为“prod”（Astra DB生产环境）。 其他值在astrapy.constants.Environment枚举类中。

  • setup_mode (SetupMode) – 用于创建Astra DB集合的模式（SYNC、ASYNC或OFF）。

  • pre_delete_collection (bool) – 是否在创建集合之前删除它。如果为False且集合已存在，则直接使用该集合。

  • embedding (Embeddings) – 用于语义编码和搜索的嵌入提供者。

  • metric (str | None) – 用于评估文本嵌入相似性的函数。 默认为‘cosine’（其他选项：‘euclidean’, ‘dot_product’）

  • similarity_threshold (float) – 接受（语义搜索）匹配的最小相似度。

  • ext_callers (list[tuple[str | None, str | None] | str | None] | None) – 一个或多个调用者身份，用于在User-Agent头中标识Data API调用。这是一个（名称，版本）对的列表，如果没有提供版本信息，则只是字符串，如果提供，将成为与此组件相关的所有API请求中User-Agent字符串的前导部分。

  • astra_db_client (AstraDB | None) – 从版本0.3.5开始已弃用。 请使用‘token’、‘api_endpoint’以及可选的‘environment’。 你可以传递一个已经创建的‘astrapy.db.AstraDB’实例 （作为‘token’、‘api_endpoint’和‘environment’的替代）。

  • async_astra_db_client (AsyncAstraDB | None) – 从版本0.3.5开始已弃用。 请使用‘token’、‘api_endpoint’和可选的‘environment’。 你可以传递一个已经创建的‘astrapy.db.AsyncAstraDB’实例 （作为‘token’、‘api_endpoint’和‘environment’的替代方案）。

方法

__init__(*[, collection_name, token, ...])

Astra DB 语义缓存。

aclear(**kwargs)

异步清除缓存，可以接受额外的关键字参数。

adelete_by_document_id(document_id)

根据文档ID删除。

alookup(prompt, llm_string)

基于提示和llm_string的异步查找。

alookup_with_id(prompt, llm_string)

基于提示和llm_string进行查找。

alookup_with_id_through_llm(prompt, llm[, stop])

基于提示和LLM进行查找。

aupdate(prompt, llm_string, return_val)

基于提示和llm_string异步更新缓存。

clear(**kwargs)

清除可以接受额外关键字参数的缓存。

delete_by_document_id(document_id)

根据文档ID删除。

lookup(prompt, llm_string)

根据提示和llm_string进行查找。

lookup_with_id(prompt, llm_string)

基于提示和llm_string进行查找。

lookup_with_id_through_llm(prompt, llm[, stop])

基于提示和LLM进行查找。

update(prompt, llm_string, return_val)

根据提示和llm_string更新缓存。
__init__(*, collection_name: str = 'langchain_astradb_semantic_cache', token: str | TokenProvider | None = None, api_endpoint: str | None = None, namespace: str | None = None, environment: str | None = None, setup_mode: SetupMode = SetupMode.SYNC, pre_delete_collection: bool = False, embedding: Embeddings, metric: str | None = None, similarity_threshold: float = 0.85, ext_callers: list[tuple[str | None, str | None] | str | None] | None = None, astra_db_client: AstraDB | None = None, async_astra_db_client: AsyncAstraDB | None = None)[source]#

Astra DB 语义缓存。

使用Astra DB作为向量存储后端的缓存，用于语义（即基于相似性）查找。

它使用一个单一的（向量）集合，并且可以存储来自多个LLM的缓存值，因此LLM的‘llm_string’存储在文档元数据中。

您可以选择首选的相似度（或使用API默认值）。 默认的分数阈值是针对默认度量进行调整的。 如果切换到其他距离度量，请仔细自行调整。

Parameters:

  • collection_name (str) – 要创建/使用的Astra DB集合的名称。

  • token (str | TokenProvider | None) – 用于Astra DB的API令牌，可以是字符串形式，也可以是astrapy.authentication.TokenProvider的子类。如果未提供，则会检查环境变量ASTRA_DB_APPLICATION_TOKEN。

  • api_endpoint (str | None) – API端点的完整URL，例如 https://-us-east1.apps.astra.datastax.com。如果未提供， 则检查环境变量 ASTRA_DB_API_ENDPOINT。

  • namespace (str | None) – 创建集合的命名空间（也称为keyspace）。 如果未提供，则检查环境变量 ASTRA_DB_KEYSPACE。 默认为数据库的“默认命名空间”。

  • environment (str | None) – 一个字符串，指定目标数据API的环境。 如果省略，默认为“prod”（Astra DB生产环境）。 其他值在astrapy.constants.Environment枚举类中。

  • setup_mode (SetupMode) – 用于创建Astra DB集合的模式（SYNC、ASYNC或OFF）。

  • pre_delete_collection (bool) – 是否在创建集合之前删除它。如果为False且集合已存在，则直接使用该集合。

  • embedding (Embeddings) – 用于语义编码和搜索的嵌入提供者。

  • metric (str | None) – 用于评估文本嵌入相似性的函数。 默认为‘cosine’（其他选项：‘euclidean’, ‘dot_product’）

  • similarity_threshold (float) – 接受（语义搜索）匹配的最小相似度。

  • ext_callers (list[tuple[str | None, str | None] | str | None] | None) – 一个或多个调用者身份，用于在User-Agent头中标识Data API调用。这是一个（名称，版本）对的列表，如果没有提供版本信息，则只是字符串，如果提供，将成为与此组件相关的所有API请求中User-Agent字符串的前导部分。

  • astra_db_client (AstraDB | None) – 从版本0.3.5开始已弃用。 请使用‘token’、‘api_endpoint’以及可选的‘environment’。 你可以传递一个已经创建的‘astrapy.db.AstraDB’实例 （作为‘token’、‘api_endpoint’和‘environment’的替代方案）。

  • async_astra_db_client (AsyncAstraDB | None) – 从版本0.3.5开始已弃用。 请使用‘token’、‘api_endpoint’和可选的‘environment’。 你可以传递一个已经创建的‘astrapy.db.AsyncAstraDB’实例 （作为‘token’、‘api_endpoint’和‘environment’的替代）。

async aclear(**kwargs: Any) → None[source]#

异步清除缓存，可以接受额外的关键字参数。

Parameters:

kwargs (任意)

Return type:

无

async adelete_by_document_id(document_id: str) → None[source]#

按文档ID删除。

鉴于这是一个“相似性搜索”缓存，一个有意义的失效模式是首先查找以获取ID，然后使用该ID进行删除。这是针对第二步的。

Parameters:

document_id (str)

Return type:

无

async alookup(prompt: str, llm_string: str) → Sequence[Generation] | None[来源]#

基于提示和llm_string的异步查找。

缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。

Parameters:

  • prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

Returns:

在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。 缓存的值是 Generations（或其子类）的列表。

Return type:

序列[生成] | 无

async alookup_with_id(prompt: str, llm_string: str) → tuple[str, Sequence[Generation]] | None[source]#

根据提示和llm_string进行查找。

如果有匹配项，返回顶部匹配项的 (document_id, cached_entry)

Parameters:

  • prompt (str)

  • llm_string (str)

Return type:

元组[str, 序列[生成]] | 无

async alookup_with_id_through_llm(prompt: str, llm: LLM, stop: list[str] | None = None) → tuple[str, RETURN_VAL_TYPE] | None[来源]#

根据提示和LLM进行查找。

如果有匹配项，返回顶部匹配项的 (document_id, cached_entry)

Parameters:

  • prompt (str)

  • llm (LLM)

  • stop (列表[字符串] | 无)

Return type:

tuple[str, RETURN_VAL_TYPE] | 无

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]#

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存的键。 该键应与查找方法的键匹配。

Parameters:

  • prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

  • return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。

Return type:

无

clear(**kwargs: Any) → None[source]#

清除可以接受额外关键字参数的缓存。

Parameters:

kwargs (任意)

Return type:

无

delete_by_document_id(document_id: str) → None[source]#

按文档ID删除。

鉴于这是一个“相似性搜索”缓存，一个有意义的失效模式是首先查找以获取ID，然后使用该ID进行删除。这是针对第二步的。

Parameters:

document_id (str)

Return type:

无

lookup(prompt: str, llm_string: str) → Sequence[Generation] | None[source]#

根据提示和llm_string进行查找。

缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。

Parameters:

  • prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

Returns:

在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。 缓存的值是 Generations（或其子类）的列表。

Return type:

序列[生成] | 无

lookup_with_id(prompt: str, llm_string: str) → tuple[str, Sequence[Generation]] | None[source]#

根据提示和llm_string进行查找。

如果有匹配项，返回顶部匹配项的 (document_id, cached_entry)

Parameters:

  • prompt (str)

  • llm_string (str)

Return type:

元组[str, 序列[生成]] | 无

lookup_with_id_through_llm(prompt: str, llm: LLM, stop: list[str] | None = None) → tuple[str, RETURN_VAL_TYPE] | None[source]#

根据提示和LLM进行查找。

如果有匹配项，返回顶部匹配项的 (document_id, cached_entry)

Parameters:

  • prompt (str)

  • llm (LLM)

  • stop (列表[字符串] | 无)

Return type:

tuple[str, RETURN_VAL_TYPE] | 无

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]#

根据提示和llm_string更新缓存。

提示和llm_string用于生成缓存的键。 该键应与查找方法的键匹配。

Parameters:

  • prompt (str) – 提示的字符串表示。 在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。 这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串 表示。

  • return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。

Return type:

无