Skip to main content
Open In ColabOpen on GitHub

Xorbits 推理 (Xinference)

Xinference 是一个功能强大且多用途的库，旨在为大型语言模型（LLMs）、语音识别模型和多模态模型提供服务，甚至可以在您的笔记本电脑上运行。它支持多种与GGML兼容的模型，例如chatglm、baichuan、whisper、vicuna、orca等。本笔记本展示了如何将Xinference与LangChain结合使用。

安装​

通过 PyPI 安装 Xinference：

%pip install --upgrade --quiet  "xinference[all]"

本地或分布式集群中部署Xinference。​

对于本地部署，运行 xinference。

要在集群中部署Xinference，首先使用xinference-supervisor启动一个Xinference监督器。你也可以使用选项-p来指定端口，使用-H来指定主机。默认端口是9997。

然后，在您希望运行它们的每台服务器上使用xinference-worker启动Xinference工作器。

您可以查阅Xinference的README文件以获取更多信息。

包装器​

要使用Xinference与LangChain，您需要首先启动一个模型。您可以使用命令行界面（CLI）来执行此操作：

!xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0
Model uid: 7167b2b0-2a04-11ee-83f0-d29396a3f064

返回一个模型UID供您使用。现在您可以将Xinference与LangChain一起使用：

from langchain_community.llms import Xinference

llm = Xinference(
    server_url="http://0.0.0.0:9997", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)

llm(
    prompt="Q: where can we visit in the capital of France? A:",
    generate_config={"max_tokens": 1024, "stream": True},
)
API Reference:Xinference
' You can visit the Eiffel Tower, Notre-Dame Cathedral, the Louvre Museum, and many other historical sites in Paris, the capital of France.'

与LLMChain集成​

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = "Where can we visit in the capital of {country}?"

prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

generated = llm_chain.run(country="France")
print(generated)
API Reference:LLMChain | PromptTemplate

A: You can visit many places in Paris, such as the Eiffel Tower, the Louvre Museum, Notre-Dame Cathedral, the Champs-Elysées, Montmartre, Sacré-Cœur, and the Palace of Versailles.

最后，当你不需要使用模型时，终止它：

!xinference terminate --model-uid "7167b2b0-2a04-11ee-83f0-d29396a3f064"

这个页面有帮助吗？