langchain_community.cache.AzureCosmosDBSemanticCache

class langchain_community.cache.AzureCosmosDBSemanticCache(cosmosdb_connection_string: str, database_name: str, collection_name: str, embedding: Embeddings, *, cosmosdb_client: Optional[Any] = None, num_lists: int = 100, similarity: CosmosDBSimilarityType = CosmosDBSimilarityType.COS, kind: CosmosDBVectorSearchType = CosmosDBVectorSearchType.VECTOR_IVF, dimensions: int = 1536, m: int = 16, ef_construction: int = 64, ef_search: int = 40, score_threshold: Optional[float] = None, application_name: str = 'LANGCHAIN_CACHING_PYTHON')[source]

使用Cosmos DB Mongo vCore向量存储后端的缓存

Args: cosmosdb_connection_string: Cosmos DB Mongo vCore连接字符串 cosmosdb_client: Cosmos DB Mongo vCore客户端 embedding (Embedding): 用于语义编码和搜索的嵌入提供程序。 database_name: CosmosDBMongoVCoreSemanticCache的数据库名称 collection_name: CosmosDBMongoVCoreSemanticCache的集合名称 num_lists: 这个整数是倒排文件（IVF）索引用来对向量数据进行分组的簇的数量。

我们建议将numLists设置为documentCount/1000，用于最多100万个文档， 并将其设置为sqrt(documentCount)，用于超过100万个文档。 使用numLists值为1相当于执行蛮力搜索，性能有限。

dimensions: 向量相似性的维度数。

支持的最大维度数为2000

similarity: 与IVF索引一起使用的相似性度量。

可能的选项有：

  • CosmosDBSimilarityType.COS（余弦距离），

  • CosmosDBSimilarityType.L2（欧氏距离），以及

  • CosmosDBSimilarityType.IP（内积）。

kind: 要创建的向量索引类型。
可能的选项有：

  • vector-ivf

  • vector-hnsw：仅作为预览功能提供，

    若要启用，请访问https://learn.microsoft.com/en-us/azure/azure-resource-manager/management/preview-features

m: 每层的最大连接数（默认为16，最小值为2，最大值为100）。较高的m适用于具有高维度和/或高准确性要求的数据集。 ef_construction: 用于构建图的动态候选列表的大小（默认为64，最小值为4，最大值为1000）。较高的ef_construction将导致更好的索引质量和更高的准确性，但也会增加构建索引所需的时间。

ef_construction必须至少为2 * m

ef_search: 用于搜索的动态候选列表的大小（默认为40）。较高的值提供更好的召回率，但会降低速度。 score_threshold: 用于过滤向量搜索文档的最大分数。 application_name: 用于客户端跟踪和记录的应用程序名称

Attributes

DEFAULT_COLLECTION_NAME

DEFAULT_DATABASE_NAME

Methods

__init__(cosmosdb_connection_string, ...[, ...])

Args: cosmosdb_connection_string: Cosmos DB Mongo vCore连接字符串 cosmosdb_client: Cosmos DB Mongo vCore客户端 embedding (Embedding): 用于语义编码和搜索的嵌入提供程序。 database_name: CosmosDBMongoVCoreSemanticCache的数据库名称 collection_name: CosmosDBMongoVCoreSemanticCache的集合名称 num_lists: 这个整数是倒排文件（IVF）索引用来对向量数据进行分组的簇的数量。 我们建议将numLists设置为documentCount/1000，用于最多100万个文档， 并将其设置为sqrt(documentCount)，用于超过100万个文档。 使用numLists值为1相当于执行蛮力搜索，性能有限。 dimensions: 向量相似性的维度数。 支持的最大维度数为2000 similarity: 与IVF索引一起使用的相似性度量。

aclear(**kwargs)

清除可以接受额外关键字参数的缓存。

alookup(prompt, llm_string)

根据提示和llm_string进行查找。

aupdate(prompt, llm_string, return_val)

根据提示和llm_string更新缓存。

clear(**kwargs)

清除给定llm_string的语义缓存。

lookup(prompt, llm_string)

根据提示和llm_string进行查找。

update(prompt, llm_string, return_val)

根据提示和llm_string更新缓存。
Parameters

  • cosmosdb_connection_string (str) –

  • database_name (str) –

  • collection_name (str) –

  • embedding (Embeddings) –

  • cosmosdb_client (Optional[Any]) –

  • num_lists (int) –

  • similarity (CosmosDBSimilarityType) –

  • kind (CosmosDBVectorSearchType) –

  • dimensions (int) –

  • m (int) –

  • ef_construction (int) –

  • ef_search (int) –

  • score_threshold (Optional[float]) –

  • application_name (str) –

__init__(cosmosdb_connection_string: str, database_name: str, collection_name: str, embedding: Embeddings, *, cosmosdb_client: Optional[Any] = None, num_lists: int = 100, similarity: CosmosDBSimilarityType = CosmosDBSimilarityType.COS, kind: CosmosDBVectorSearchType = CosmosDBVectorSearchType.VECTOR_IVF, dimensions: int = 1536, m: int = 16, ef_construction: int = 64, ef_search: int = 40, score_threshold: Optional[float] = None, application_name: str = 'LANGCHAIN_CACHING_PYTHON')[source]

Args: cosmosdb_connection_string: Cosmos DB Mongo vCore连接字符串 cosmosdb_client: Cosmos DB Mongo vCore客户端 embedding (Embedding): 用于语义编码和搜索的嵌入提供程序。 database_name: CosmosDBMongoVCoreSemanticCache的数据库名称 collection_name: CosmosDBMongoVCoreSemanticCache的集合名称 num_lists: 这个整数是倒排文件（IVF）索引用来对向量数据进行分组的簇的数量。

我们建议将numLists设置为documentCount/1000，用于最多100万个文档， 并将其设置为sqrt(documentCount)，用于超过100万个文档。 使用numLists值为1相当于执行蛮力搜索，性能有限。

dimensions: 向量相似性的维度数。

支持的最大维度数为2000

similarity: 与IVF索引一起使用的相似性度量。

可能的选项有：

  • CosmosDBSimilarityType.COS（余弦距离），

  • CosmosDBSimilarityType.L2（欧氏距离），以及

  • CosmosDBSimilarityType.IP（内积）。

kind: 要创建的向量索引类型。
可能的选项有：

  • vector-ivf

  • vector-hnsw：仅作为预览功能提供，

    若要启用，请访问https://learn.microsoft.com/en-us/azure/azure-resource-manager/management/preview-features

m: 每层的最大连接数（默认为16，最小值为2，最大值为100）。较高的m适用于具有高维度和/或高准确性要求的数据集。 ef_construction: 用于构建图的动态候选列表的大小（默认为64，最小值为4，最大值为1000）。较高的ef_construction将导致更好的索引质量和更高的准确性，但也会增加构建索引所需的时间。

ef_construction必须至少为2 * m

ef_search: 用于搜索的动态候选列表的大小（默认为40）。较高的值提供更好的召回率，但会降低速度。 score_threshold: 用于过滤向量搜索文档的最大分数。 application_name: 用于客户端跟踪和记录的应用程序名称

Parameters

  • cosmosdb_connection_string (str) –

  • database_name (str) –

  • collection_name (str) –

  • embedding (Embeddings) –

  • cosmosdb_client (Optional[Any]) –

  • num_lists (int) –

  • similarity (CosmosDBSimilarityType) –

  • kind (CosmosDBVectorSearchType) –

  • dimensions (int) –

  • m (int) –

  • ef_construction (int) –

  • ef_search (int) –

  • score_threshold (Optional[float]) –

  • application_name (str) –

async aclear(**kwargs: Any) → None

清除可以接受额外关键字参数的缓存。

Parameters

kwargs (Any) –

Return type

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

根据提示和llm_string进行查找。

期望缓存实现从提示和llm_string的2元组中生成一个键（例如，通过使用分隔符将它们连接起来）。

参数：
prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

返回：

在缓存未命中时，返回None。在缓存命中时，返回缓存的值。 缓存的值是Generations（或子类）的列表。

Parameters

  • prompt (str) –

  • llm_string (str) –

Return type

Optional[Sequence[Generation]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string更新缓存。

提示和llm_string用于生成缓存的键。 键应该与查找方法的键匹配。

参数：
prompt：提示的字符串表示。

对于Chat模型，提示是将提示序列化为语言模型的非平凡表示。

llm_string：LLM配置的字符串表示。

这用于捕获LLM的调用参数 （例如，模型名称、温度、停止标记、最大标记等）。 这些调用参数被序列化为字符串表示。

return_val：要缓存的值。该值是Generations的列表（或子类）。

Parameters

  • prompt (str) –

  • llm_string (str) –

  • return_val (Sequence[Generation]) –

Return type

None

clear(**kwargs: Any) → None[source]

清除给定llm_string的语义缓存。

Parameters

kwargs (Any) –

Return type

None

lookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]][source]

根据提示和llm_string进行查找。

Parameters

  • prompt (str) –

  • llm_string (str) –

Return type

Optional[Sequence[Generation]]

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]

根据提示和llm_string更新缓存。

Parameters

  • prompt (str) –

  • llm_string (str) –

  • return_val (Sequence[Generation]) –

Return type

None

Examples using AzureCosmosDBSemanticCache