百度云ElasticSearch向量搜索
Baidu Cloud VectorSearch 是一个完全托管的、企业级的分布式搜索和分析服务，100%兼容开源。百度云向量搜索为结构化/非结构化数据提供低成本、高性能和可靠的检索和分析平台级产品服务。作为一个向量数据库，它支持多种索引类型和相似性距离方法。
Baidu Cloud ElasticSearch提供了一种权限管理机制，允许您自由配置集群权限，从而进一步确保数据安全。
本笔记本展示了如何使用与Baidu Cloud ElasticSearch VectorStore相关的功能。
要运行，您应该有一个Baidu Cloud ElasticSearch实例并正在运行：
阅读帮助文档以快速熟悉并配置百度云ElasticSearch实例。
实例启动并运行后，按照以下步骤拆分文档、获取嵌入、连接到百度云弹性搜索实例、索引文档并执行向量检索。
我们需要先安装以下Python包。
%pip install --upgrade --quiet langchain-community elasticsearch == 7.11.0
首先，我们想要使用QianfanEmbeddings，所以我们必须获取Qianfan的AK和SK。关于QianFan的详细信息，请参考Baidu Qianfan Workshop
import getpass
import os
if "QIANFAN_AK" not in os.environ:
os.environ["QIANFAN_AK"] = getpass.getpass("Your Qianfan AK:")
if "QIANFAN_SK" not in os.environ:
os.environ["QIANFAN_SK"] = getpass.getpass("Your Qianfan SK:")
其次，分割文档并获取嵌入。
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("../../../state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
from langchain_community.embeddings import QianfanEmbeddingsEndpoint
embeddings = QianfanEmbeddingsEndpoint()
然后，创建一个可访问的百度ElasticSearch实例。
# Create a bes instance and index docs.
from langchain_community.vectorstores import BESVectorStore
bes = BESVectorStore.from_documents(
documents=docs,
embedding=embeddings,
bes_url="your bes cluster url",
index_name="your vector index",
)
bes.client.indices.refresh(index="your vector index")
API Reference:BESVectorStore
最后，查询并检索数据
query = "What did the president say about Ketanji Brown Jackson"
docs = bes.similarity_search(query)
print(docs[0].page_content)
如果在使用过程中遇到任何问题，请随时联系liuboyao@baidu.com或chenweixu01@baidu.com，我们将尽力为您提供支持。