Xorbits推理 (Xinference)
本笔记本介绍如何在LangChain中使用Xinference嵌入
安装
通过 PyPI 安装 Xinference：
%pip install --upgrade --quiet "xinference[all]"
本地或分布式集群中部署Xinference。
对于本地部署，运行 xinference。
要在集群中部署Xinference，首先使用xinference-supervisor启动一个Xinference监督器。你也可以使用选项-p来指定端口，使用-H来指定主机。默认端口是9997。
然后，在您希望运行它们的每台服务器上使用xinference-worker启动Xinference工作器。
您可以查阅Xinference的README文件以获取更多信息。
包装器
要使用Xinference与LangChain，您需要首先启动一个模型。您可以使用命令行界面（CLI）来执行此操作：
!xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0
Model uid: 915845ee-2a04-11ee-8ed4-d29396a3f064
返回一个模型UID供您使用。现在您可以在LangChain中使用Xinference嵌入：
from langchain_community.embeddings import XinferenceEmbeddings
xinference = XinferenceEmbeddings(
server_url="http://0.0.0.0:9997", model_uid="915845ee-2a04-11ee-8ed4-d29396a3f064"
)
API Reference:XinferenceEmbeddings
query_result = xinference.embed_query("This is a test query")
doc_result = xinference.embed_documents(["text A", "text B"])
最后，当你不需要使用模型时，终止它：
!xinference terminate --model-uid "915845ee-2a04-11ee-8ed4-d29396a3f064"