Skip to main content
Open In ColabOpen on GitHub

Apache Doris

Apache Doris 是一个用于实时分析的现代数据仓库。 它能够在大规模实时数据上提供闪电般的分析速度。

通常Apache Doris被归类为OLAP，它在ClickBench — 分析型数据库管理系统基准测试中表现出色。由于它拥有超快的矢量化执行引擎，它也可以用作快速的矢量化数据库。

你需要安装 langchain-community 使用 pip install -qU langchain-community 来使用这个集成

这里我们将展示如何使用Apache Doris向量存储。

设置​

%pip install --upgrade --quiet  pymysql

在开始时设置 update_vectordb = False。如果没有文档更新，那么我们不需要重新构建文档的嵌入

!pip install  sqlalchemy
!pip install langchain
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import (
    DirectoryLoader,
    UnstructuredMarkdownLoader,
)
from langchain_community.vectorstores.apache_doris import (
    ApacheDoris,
    ApacheDorisSettings,
)
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import TokenTextSplitter

update_vectordb = False

加载文档并将其分割成标记​

加载docs目录下的所有markdown文件

对于Apache Doris文档，你可以从https://github.com/apache/doris克隆仓库，其中包含docs目录。

loader = DirectoryLoader(
    "./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader
)
documents = loader.load()

将文档分割成标记，并设置update_vectordb = True，因为有新的文档/标记。

# load text splitter and split docs into snippets of text
text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50)
split_docs = text_splitter.split_documents(documents)

# tell vectordb to update text embeddings
update_vectordb = True

split_docs[-20]

print("# 文档数量 = %d, # 分割数量 = %d" % (len(documents), len(split_docs)))

创建 vectordb 实例​

使用 Apache Doris 作为向量数据库​

def gen_apache_doris(update_vectordb, embeddings, settings):
    if update_vectordb:
        docsearch = ApacheDoris.from_documents(split_docs, embeddings, config=settings)
    else:
        docsearch = ApacheDoris(embeddings, settings)
    return docsearch

将标记转换为嵌入并将其放入vectordb​

这里我们使用Apache Doris作为向量数据库，你可以通过ApacheDorisSettings配置Apache Doris实例。

配置Apache Doris实例与配置MySQL实例非常相似。您需要指定：

  1. 主机/端口
  2. 用户名（默认：'root'）
  3. 密码（默认值：''）
  4. 数据库（默认：'default'）
  5. 表格（默认：'langchain'）
import os
from getpass import getpass

if "OPENAI_API_KEY" not in os.environ:
    os.environ["OPENAI_API_KEY"] = getpass()
update_vectordb = True

embeddings = OpenAIEmbeddings()

# configure Apache Doris settings(host/port/user/pw/db)
settings = ApacheDorisSettings()
settings.port = 9030
settings.host = "172.30.34.130"
settings.username = "root"
settings.password = ""
settings.database = "langchain"
docsearch = gen_apache_doris(update_vectordb, embeddings, settings)

print(docsearch)

update_vectordb = False

构建QA并向其提问​

llm = OpenAI()
qa = RetrievalQA.from_chain_type(
    llm=llm, chain_type="stuff", retriever=docsearch.as_retriever()
)
query = "what is apache doris"
resp = qa.run(query)
print(resp)

这个页面有帮助吗？