Faiss (异步)
Facebook AI Similarity Search (Faiss) 是一个用于高效相似性搜索和密集向量聚类的库。它包含可以在任何大小的向量集中进行搜索的算法，甚至可能不适合放入RAM的向量集。它还包括用于评估和参数调整的支持代码。
参见 The FAISS Library 论文。
你需要安装 langchain-community 使用 pip install -qU langchain-community 来使用这个集成
本笔记本展示了如何使用与FAISS向量数据库相关的功能，使用asyncio。
LangChain实现了同步和异步的向量存储功能。
参见synchronous版本这里。
%pip install --upgrade --quiet faiss-gpu # For CUDA 7.5+ Supported GPU's.
# OR
%pip install --upgrade --quiet faiss-cpu # For CPU Installation
我们想要使用OpenAIEmbeddings，所以我们必须获取OpenAI API密钥。
import getpass
import os
if "OPENAI_API_KEY" not in os.environ:
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
# Uncomment the following line if you need to initialize FAISS with no AVX2 optimization
# os.environ['FAISS_NO_AVX2'] = '1'
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("../../../extras/modules/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
embeddings = OpenAIEmbeddings()
db = await FAISS.afrom_documents(docs, embeddings)
query = "What did the president say about Ketanji Brown Jackson"
docs = await db.asimilarity_search(query)
print(docs[0].page_content)
带分数的相似性搜索
有一些FAISS特定的方法。其中之一是similarity_search_with_score，它允许你不仅返回文档，还返回查询与它们的距离分数。返回的距离分数是L2距离。因此，分数越低越好。
docs_and_scores = await db.asimilarity_search_with_score(query)
docs_and_scores[0]
也可以使用similarity_search_by_vector来搜索与给定嵌入向量相似的文档，该函数接受嵌入向量作为参数，而不是字符串。
embedding_vector = await embeddings.aembed_query(query)
docs_and_scores = await db.asimilarity_search_by_vector(embedding_vector)
保存和加载
您还可以保存和加载FAISS索引。这很有用，因此您不必每次使用时都重新创建它。
db.save_local("faiss_index")
new_db = FAISS.load_local("faiss_index", embeddings, asynchronous=True)
docs = await new_db.asimilarity_search(query)
docs[0]
序列化和反序列化为字节
你可以通过这些函数对FAISS索引进行pickle操作。如果你使用的嵌入模型大小为90 MB（例如sentence-transformers/all-MiniLM-L6-v2或其他模型），生成的pickle文件大小将超过90 MB。模型的大小也会包含在总大小中。为了解决这个问题，可以使用以下函数。这些函数仅序列化FAISS索引，因此文件大小会小得多。如果你希望将索引存储在像SQL这样的数据库中，这将非常有用。
from langchain_huggingface import HuggingFaceEmbeddings
pkl = db.serialize_to_bytes() # serializes the faiss index
embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
db = FAISS.deserialize_from_bytes(
embeddings=embeddings, serialized=pkl, asynchronous=True
) # Load the index
合并
你也可以合并两个FAISS向量存储
db1 = await FAISS.afrom_texts(["foo"], embeddings)
db2 = await FAISS.afrom_texts(["bar"], embeddings)
db1.docstore._dict
{'8164a453-9643-4959-87f7-9ba79f9e8fb0': Document(page_content='foo')}
db2.docstore._dict
{'4fbcf8a2-e80f-4f65-9308-2f4cb27cb6e7': Document(page_content='bar')}
db1.merge_from(db2)
db1.docstore._dict
{'8164a453-9643-4959-87f7-9ba79f9e8fb0': Document(page_content='foo'),
'4fbcf8a2-e80f-4f65-9308-2f4cb27cb6e7': Document(page_content='bar')}
带过滤的相似性搜索
FAISS 向量存储也可以支持过滤，由于 FAISS 本身不支持过滤，我们必须手动进行。这是通过首先获取比 k 更多的结果，然后对它们进行过滤来实现的。您可以根据元数据过滤文档。您还可以在调用任何搜索方法时设置 fetch_k 参数，以设置在过滤之前要获取多少文档。以下是一个小例子：
from langchain_core.documents import Document
list_of_documents = [
Document(page_content="foo", metadata=dict(page=1)),
Document(page_content="bar", metadata=dict(page=1)),
Document(page_content="foo", metadata=dict(page=2)),
Document(page_content="barbar", metadata=dict(page=2)),
Document(page_content="foo", metadata=dict(page=3)),
Document(page_content="bar burr", metadata=dict(page=3)),
Document(page_content="foo", metadata=dict(page=4)),
Document(page_content="bar bruh", metadata=dict(page=4)),
]
db = FAISS.from_documents(list_of_documents, embeddings)
results_with_scores = db.similarity_search_with_score("foo")
for doc, score in results_with_scores:
print(f"Content: {doc.page_content}, Metadata: {doc.metadata}, Score: {score}")
Content: foo, Metadata: {'page': 1}, Score: 5.159960813797904e-15
Content: foo, Metadata: {'page': 2}, Score: 5.159960813797904e-15
Content: foo, Metadata: {'page': 3}, Score: 5.159960813797904e-15
Content: foo, Metadata: {'page': 4}, Score: 5.159960813797904e-15
现在我们进行相同的查询调用，但我们只过滤page = 1
results_with_scores = await db.asimilarity_search_with_score("foo", filter=dict(page=1))
for doc, score in results_with_scores:
print(f"Content: {doc.page_content}, Metadata: {doc.metadata}, Score: {score}")
Content: foo, Metadata: {'page': 1}, Score: 5.159960813797904e-15
Content: bar, Metadata: {'page': 1}, Score: 0.3131446838378906
同样的事情也可以用max_marginal_relevance_search来完成。
results = await db.amax_marginal_relevance_search("foo", filter=dict(page=1))
for doc in results:
print(f"Content: {doc.page_content}, Metadata: {doc.metadata}")
Content: foo, Metadata: {'page': 1}
Content: bar, Metadata: {'page': 1}
这里是一个示例，展示了在调用similarity_search时如何设置fetch_k参数。通常你会希望fetch_k参数大于k参数。这是因为fetch_k参数是在过滤之前将要获取的文档数量。如果你将fetch_k设置为一个较小的数字，你可能无法获得足够的文档进行过滤。
results = await db.asimilarity_search("foo", filter=dict(page=1), k=1, fetch_k=4)
for doc in results:
print(f"Content: {doc.page_content}, Metadata: {doc.metadata}")
Content: foo, Metadata: {'page': 1}
一些MongoDB查询和投影操作符支持更高级的元数据过滤。当前支持的操作符列表如下：
$eq(等于)$neq(不等于)$gt(大于)$lt(小于)$gte(大于或等于)$lte(小于或等于)$in(列表中的成员)$nin(不在列表中)$and(所有条件必须匹配)$or(任何条件必须匹配)$not(条件的否定)
使用高级元数据过滤执行上述相同的相似性搜索可以如下进行：
results = await db.asimilarity_search(
"foo", filter={"page": {"$eq": 1}}, k=1, fetch_k=4
)
for doc in results:
print(f"Content: {doc.page_content}, Metadata: {doc.metadata}")
Content: foo, Metadata: {'page': 1}
删除
你也可以删除id。请注意，要删除的id应该是docstore中的id。
db.delete([db.index_to_docstore_id[0]])
True
# Is now missing
0 in db.index_to_docstore_id
False