AzureCosmosDB语义缓存#

class langchain_community.cache.AzureCosmosDBSemanticCache(cosmosdb_connection_string: str, database_name: str, collection_name: str, embedding: Embeddings, *, cosmosdb_client: Any | None = None, num_lists: int = 100, similarity: CosmosDBSimilarityType = CosmosDBSimilarityType.COS, kind: CosmosDBVectorSearchType = CosmosDBVectorSearchType.VECTOR_IVF, dimensions: int = 1536, m: int = 16, ef_construction: int = 64, ef_search: int = 40, score_threshold: float | None = None, application_name: str = 'LangChain-CDBMongoVCore-SemanticCache-Python')[source]#

使用Cosmos DB Mongo vCore向量存储后端的缓存

Parameters:

cosmosdb_connection_string (str) – Cosmos DB Mongo vCore 连接字符串
cosmosdb_client (可选[任意]) – Cosmos DB Mongo vCore 客户端
embedding (Embedding) – 用于语义编码和搜索的嵌入提供者。
database_name (str) – CosmosDBMongoVCoreSemanticCache 的数据库名称
collection_name (str) – CosmosDBMongoVCoreSemanticCache 的集合名称
num_lists (int) – 这个整数是倒排文件（IVF）索引用于分组向量数据的簇的数量。我们建议对于最多100万份文档，numLists设置为documentCount/1000，对于超过100万份文档，设置为sqrt(documentCount)。使用numLists值为1类似于执行暴力搜索，其性能有限。
dimensions (int) – 向量相似度的维度数。支持的最大维度数为2000
similarity (CosmosDBSimilarityType) –
与IVF索引一起使用的相似性度量。
可能的选项有：
- CosmosDBSimilarityType.COS (余弦距离),
- CosmosDBSimilarityType.L2 (欧几里得距离), 和
- CosmosDBSimilarityType.IP (内积).
kind (CosmosDBVectorSearchType) –
要创建的向量索引类型。可能的选项有：
- vector-ivf
- vector-hnsw: 仅作为预览功能提供，
  要启用请访问 https://learn.microsoft.com/en-us/azure/azure-resource-manager/management/preview-features
m (int) – 每层的最大连接数（默认为16，最小值为2，最大值为100）。较高的m值适用于具有高维度和/或高精度要求的数据集。
ef_construction (int) – 用于构建图的动态候选列表的大小（默认为64，最小值为4，最大值为1000）。较高的ef_construction将导致更好的索引质量和更高的准确性，但也会增加构建索引所需的时间。ef_construction必须至少为2 * m
ef_search (int) – 搜索的动态候选列表的大小（默认为40）。较高的值会提高召回率，但会降低速度。
score_threshold (可选[float]) – 用于过滤向量搜索文档的最大分数。
application_name (str) – 客户端的应用程序名称，用于跟踪和日志记录

属性

`DEFAULT_COLLECTION_NAME`
`DEFAULT_DATABASE_NAME`

方法

`__init__`(cosmosdb_connection_string, ...[, ...])
`aclear`(**kwargs)	异步清除缓存，可以接受额外的关键字参数。
`alookup`(prompt, llm_string)	基于提示和llm_string的异步查找。
`aupdate`(prompt, llm_string, return_val)	基于提示和llm_string异步更新缓存。
`clear`(**kwargs)	清除给定llm_string的语义缓存。
`lookup`(prompt, llm_string)	根据提示和llm_string进行查找。
`update`(prompt, llm_string, return_val)	根据提示和llm_string更新缓存。

__init__(cosmosdb_connection_string: str, database_name: str, collection_name: str, embedding: Embeddings, *, cosmosdb_client: Any | None = None, num_lists: int = 100, similarity: CosmosDBSimilarityType = CosmosDBSimilarityType.COS, kind: CosmosDBVectorSearchType = CosmosDBVectorSearchType.VECTOR_IVF, dimensions: int = 1536, m: int = 16, ef_construction: int = 64, ef_search: int = 40, score_threshold: float | None = None, application_name: str = 'LangChain-CDBMongoVCore-SemanticCache-Python')[source]#

Parameters:

cosmosdb_connection_string (str) – Cosmos DB Mongo vCore 连接字符串
cosmosdb_client (Any | None) – Cosmos DB Mongo vCore 客户端
embedding (Embedding) – 用于语义编码和搜索的嵌入提供者。
database_name (str) – CosmosDBMongoVCoreSemanticCache 的数据库名称
collection_name (str) – CosmosDBMongoVCoreSemanticCache 的集合名称
num_lists (int) – 这个整数是倒排文件（IVF）索引用于分组向量数据的簇的数量。我们建议对于最多100万份文档，numLists设置为documentCount/1000，对于超过100万份文档，设置为sqrt(documentCount)。使用numLists值为1类似于执行暴力搜索，其性能有限。
dimensions (int) – 向量相似度的维度数。支持的最大维度数为2000
similarity (CosmosDBSimilarityType) –
与IVF索引一起使用的相似性度量。
可能的选项有：
- CosmosDBSimilarityType.COS (余弦距离),
- CosmosDBSimilarityType.L2 (欧几里得距离), 和
- CosmosDBSimilarityType.IP (内积).
kind (CosmosDBVectorSearchType) –
要创建的向量索引类型。可能的选项有：
- vector-ivf
- vector-hnsw: 仅作为预览功能提供，
  要启用请访问 https://learn.microsoft.com/en-us/azure/azure-resource-manager/management/preview-features
m (int) – 每层的最大连接数（默认为16，最小值为2，最大值为100）。较高的m值适用于具有高维度和/或高精度要求的数据集。
ef_construction (int) – 用于构建图的动态候选列表的大小（默认为64，最小值为4，最大值为1000）。较高的ef_construction将导致更好的索引质量和更高的准确性，但也会增加构建索引所需的时间。ef_construction必须至少为2 * m
ef_search (int) – 搜索的动态候选列表的大小（默认为40）。较高的值会提高召回率，但会降低速度。
score_threshold (float | None) – 用于过滤向量搜索文档的最大分数。
application_name (str) – 客户端的应用程序名称，用于跟踪和日志记录

async aclear(**kwargs: Any) → None#

异步清除缓存，可以接受额外的关键字参数。

Parameters:: kwargs (任意)
Return type:: 无

async alookup(prompt: str, llm_string: str) → Sequence[Generation] | None#

基于提示和llm_string的异步查找。

缓存实现预计会从提示和llm_string的二元组生成一个键（例如，通过用分隔符连接它们）。

Parameters:

prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。
llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称、温度、停止标记、最大标记等）。这些调用参数被序列化为字符串表示。

Returns:

在缓存未命中时，返回 None。在缓存命中时，返回缓存的值。缓存的值是 Generations（或其子类）的列表。

Return type:

序列[生成] | 无

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None#

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存的键。该键应与查找方法的键匹配。

Parameters:

prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是将提示非平凡地序列化为语言模型。
llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称、温度、停止标记、最大标记等）。这些调用参数被序列化为字符串表示。
return_val (Sequence[Generation]) – 要缓存的值。该值是一个Generations（或其子类）的列表。

Return type:

无

clear(**kwargs: Any) → None[source]#

清除给定llm_string的语义缓存。

Parameters:: kwargs (任意)
Return type:: 无

lookup(prompt: str, llm_string: str) → Sequence[Generation] | None[source]#

根据提示和llm_string进行查找。

Parameters:

prompt (str)
llm_string (str)

Return type:

序列[生成] | 无

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]#

根据提示和llm_string更新缓存。

Parameters:

prompt (str)
llm_string (str)
return_val (Sequence[Generation])

Return type:

无

使用 AzureCosmosDBSemanticCache 的示例

模型缓存