向量存储和检索器

本教程将使您熟悉 LangChain 的向量存储和检索器抽象。这些抽象旨在支持从（向量）数据库和其他来源检索数据，以便与LLM工作流集成。它们对于需要获取数据以进行模型推理的应用程序非常重要，例如检索增强生成，即 RAG（请参阅我们的 RAG 教程这里）。

概念

本指南侧重于文本数据的检索。我们将涵盖以下概念：

文档；
向量存储；
检索器。

设置

Jupyter Notebook

这个教程以及其他教程可能最方便在 Jupyter Notebook 中运行。请参阅这里获取安装说明。

安装

此教程需要安装 langchain、langchain-chroma 和 langchain-openai 包：

Pip
Conda

<CodeBlock language="bash">pip install langchain langchain-chroma langchain-openai</CodeBlock>

<CodeBlock language="bash">conda install langchain langchain-chroma langchain-openai -c conda-forge</CodeBlock>

更多详情，请参阅我们的安装指南。

LangSmith

您使用 LangChain 构建的许多应用程序将包含多个步骤，多次调用LLM调用。

随着这些应用程序变得越来越复杂，能够检查链或代理内部发生的情况变得至关重要。

最好的方法是使用LangSmith。

在上面的链接注册后，请确保设置您的环境变量以开始记录跟踪：

export LANGCHAIN_TRACING_V2="true"
export LANGCHAIN_API_KEY="..."

或者，在笔记本中，您可以这样设置：

import getpass
import os
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

文档

LangChain 实现了一个Document抽象，旨在表示文本单元和相关元数据。它有两个属性：

page_content：表示内容的字符串；
metadata：包含任意元数据的字典。

metadata 属性可以捕获有关文档来源、与其他文档的关系以及其他信息的信息。请注意，单个 Document 对象通常表示较大文档的一部分。

让我们生成一些示例文档：

from langchain_core.documents import Document
documents = [
    Document(
        page_content="Dogs are great companions, known for their loyalty and friendliness.",
        metadata={"source": "mammal-pets-doc"},
    ),
    Document(
        page_content="Cats are independent pets that often enjoy their own space.",
        metadata={"source": "mammal-pets-doc"},
    ),
    Document(
        page_content="Goldfish are popular pets for beginners, requiring relatively simple care.",
        metadata={"source": "fish-pets-doc"},
    ),
    Document(
        page_content="Parrots are intelligent birds capable of mimicking human speech.",
        metadata={"source": "bird-pets-doc"},
    ),
    Document(
        page_content="Rabbits are social animals that need plenty of space to hop around.",
        metadata={"source": "mammal-pets-doc"},
    ),
]

在这里，我们生成了五个文档，其中包含三个不同“来源”的元数据。

向量存储

向量搜索是存储和搜索非结构化数据（例如非结构化文本）的常见方法。其思想是存储与文本相关联的数值向量。给定一个查询，我们可以将其嵌入为相同维度的向量，并使用向量相似度度量来识别存储中的相关数据。

LangChain的VectorStore对象包含用于将文本和Document对象添加到存储中，并使用各种相似度度量进行查询的方法。它们通常使用embedding模型进行初始化，该模型确定文本数据如何转换为数值向量。

LangChain 包含一套与不同向量存储技术集成的集成。一些向量存储由提供者（例如各种云提供商）托管，并需要特定凭据才能使用；一些（比如Postgres）在可以在本地运行或通过第三方运行的独立基础设施中运行；其他一些可以在内存中运行，用于轻量级工作负载。在这里，我们将演示使用Chroma的 LangChain VectorStores 的用法，其中包括一个内存实现。

要实例化一个向量存储，通常需要提供一个嵌入模型，以指定如何将文本转换为数值向量。在这里，我们将使用OpenAI embeddings。

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(
    documents,
    embedding=OpenAIEmbeddings(),
)

在这里调用.from_documents将文档添加到向量存储中。VectorStore实现了用于添加文档的方法，这些方法也可以在实例化对象之后调用。大多数实现都允许您连接到现有的向量存储，例如，通过提供客户端、索引名称或其他信息。有关特定集成的详细信息，请参阅文档。

一旦我们实例化了包含文档的VectorStore，我们就可以对其进行查询。VectorStore包括以下查询方法：

同步和异步；
通过字符串查询和通过向量；
返回相似性分数和不返回相似性分数；
通过相似性和最大边际相关性（以平衡相似性和查询结果的多样性）。

这些方法通常会在输出中包含一系列Document对象。

示例

根据字符串查询返回文档：

vectorstore.similarity_search("cat")

[Document(page_content='Cats are independent pets that often enjoy their own space.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Dogs are great companions, known for their loyalty and friendliness.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Rabbits are social animals that need plenty of space to hop around.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Parrots are intelligent birds capable of mimicking human speech.', metadata={'source': 'bird-pets-doc'})]

异步查询：

await vectorstore.asimilarity_search("cat")

[Document(page_content='Cats are independent pets that often enjoy their own space.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Dogs are great companions, known for their loyalty and friendliness.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Rabbits are social animals that need plenty of space to hop around.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Parrots are intelligent birds capable of mimicking human speech.', metadata={'source': 'bird-pets-doc'})]

返回分数：

# 请注意，不同的提供者实现了不同的分数；这里的 Chroma
# 返回一个距离度量，应该与相似性成反比。
vectorstore.similarity_search_with_score("cat")

[(Document(page_content='Cats are independent pets that often enjoy their own space.', metadata={'source': 'mammal-pets-doc'}),
  0.3751849830150604),
 (Document(page_content='Dogs are great companions, known for their loyalty and friendliness.', metadata={'source': 'mammal-pets-doc'}),
  0.48316916823387146),
 (Document(page_content='Rabbits are social animals that need plenty of space to hop around.', metadata={'source': 'mammal-pets-doc'}),
  0.49601367115974426),
 (Document(page_content='Parrots are intelligent birds capable of mimicking human speech.', metadata={'source': 'bird-pets-doc'}),
  0.4972994923591614)]

根据嵌入式查询返回文档：

embedding = OpenAIEmbeddings().embed_query("cat")
vectorstore.similarity_search_by_vector(embedding)

[Document(page_content='Cats are independent pets that often enjoy their own space.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Dogs are great companions, known for their loyalty and friendliness.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Rabbits are social animals that need plenty of space to hop around.', metadata={'source': 'mammal-pets-doc'}),
 Document(page_content='Parrots are intelligent birds capable of mimicking human speech.', metadata={'source': 'bird-pets-doc'})]

了解更多：

检索器

LangChain VectorStore 对象不是 Runnable 的子类，因此不能直接集成到 LangChain 表达语言 chains 中。

LangChain Retrievers 是可运行的，因此它们实现了一套标准方法（例如同步和异步的 invoke 和 batch 操作），并且设计用于在 LCEL chains 中使用。

我们可以自己创建一个简单版本的检索器，而不需要子类化 Retriever。如果我们选择要使用哪种方法来检索文档，我们可以轻松创建一个可运行的。下面我们将围绕 similarity_search 方法构建一个检索器：

from typing import List
from langchain_core.documents import Document
from langchain_core.runnables import RunnableLambda
retriever = RunnableLambda(vectorstore.similarity_search).bind(k=1)  # 选择顶部结果
retriever.batch(["cat", "shark"])

[[Document(page_content='Cats are independent pets that often enjoy their own space.', metadata={'source': 'mammal-pets-doc'})],
 [Document(page_content='Goldfish are popular pets for beginners, requiring relatively simple care.', metadata={'source': 'fish-pets-doc'})]]

Vectorstores 实现了一个 as_retriever 方法，它将生成一个检索器，具体来说是 VectorStoreRetriever。这些检索器包括特定的 search_type 和 search_kwargs 属性，用于标识要调用的基础向量存储的方法以及如何对其进行参数化。例如，我们可以使用以下方式复制上述内容：

retriever = vectorstore.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 1},
)
retriever.batch(["cat", "shark"])

[[Document(page_content='Cats are independent pets that often enjoy their own space.', metadata={'source': 'mammal-pets-doc'})],
 [Document(page_content='Goldfish are popular pets for beginners, requiring relatively simple care.', metadata={'source': 'fish-pets-doc'})]]

VectorStoreRetriever 支持 "similarity"（默认）、"mmr"（最大边际相关性，如上所述）和 "similarity_score_threshold" 的搜索类型。我们可以使用后者通过相似性分数对检索器输出的文档进行阈值处理。

检索器可以轻松地集成到更复杂的应用程序中，例如检索增强生成（RAG）应用程序，它将给定问题与检索到的上下文结合起来，形成 LLM 的提示。下面我们展示一个最简单的例子。

pip install -qU langchain-openai

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-3.5-turbo-0125")

pip install -qU langchain-anthropic

import getpass
import os

os.environ["ANTHROPIC_API_KEY"] = getpass.getpass()

from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(model="claude-3-sonnet-20240229")

pip install -qU langchain-google-vertexai

import getpass
import os

os.environ["GOOGLE_API_KEY"] = getpass.getpass()

from langchain_google_vertexai import ChatVertexAI

llm = ChatVertexAI(model="gemini-pro")

pip install -qU langchain-cohere

import getpass
import os

os.environ["COHERE_API_KEY"] = getpass.getpass()

from langchain_cohere import ChatCohere

llm = ChatCohere(model="command-r")

pip install -qU langchain-fireworks

import getpass
import os

os.environ["FIREWORKS_API_KEY"] = getpass.getpass()

from langchain_fireworks import ChatFireworks

llm = ChatFireworks(model="accounts/fireworks/models/mixtral-8x7b-instruct")

pip install -qU langchain-mistralai

import getpass
import os

os.environ["MISTRAL_API_KEY"] = getpass.getpass()

from langchain_mistralai import ChatMistralAI

llm = ChatMistralAI(model="mistral-large-latest")

pip install -qU langchain-openai

import getpass
import os

os.environ["TOGETHER_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.together.xyz/v1",
    api_key=os.environ["TOGETHER_API_KEY"],
    model="mistralai/Mixtral-8x7B-Instruct-v0.1",)

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
message = """
使用提供的上下文回答这个问题。
{question}
上下文：
{context}
"""
prompt = ChatPromptTemplate.from_messages([("human", message)])
rag_chain = {"context": retriever, "question": RunnablePassthrough()} | prompt | llm

response = rag_chain.invoke("tell me about cats")
print(response.content)

Cats are independent pets that often enjoy their own space.

了解更多：

检索策略可以丰富而复杂。例如：

我们可以从查询中推断出硬规则和过滤器（例如，“使用 2020 年后发布的文档”）；
我们可以返回与检索到的上下文有关的文档（例如，通过某种文档分类法）；
我们可以为每个上下文单元生成多个嵌入；
我们可以从多个检索器中集成结果；
我们可以为文档分配权重，例如，将最近的文档加权。

操作指南中的检索器部分涵盖了这些和其他内置的检索策略。

还可以轻松地扩展 BaseRetriever 类，以实现自定义检索器。请参阅我们的操作指南此处。

向量存储和检索器

概念

设置

Jupyter Notebook

安装

LangSmith

文档

向量存储

示例

了解更多：

检索器

了解更多：

Was this page helpful?

You can leave detailed feedback on GitHub.

向量存储和检索器

概念​

设置​

Jupyter Notebook​

安装​

LangSmith​

文档​

向量存储​

示例​

了解更多：​

检索器​

了解更多：​

Was this page helpful?

You can leave detailed feedback on GitHub.

概念

设置

Jupyter Notebook

安装

LangSmith

文档

向量存储

示例

了解更多：

检索器

了解更多：