XinferenceEmbeddings#

class langchain_community.embeddings.xinference.XinferenceEmbeddings(server_url: str | None = None, model_uid: str | None = None)[source]#

Xinference 嵌入模型。

要使用，您应该安装xinference库：

pip install xinference

如果您只是使用Xinference提供的服务，您可以使用xinference_client包：

pip install xinference_client

查看：xorbitsai/inference 要运行，您需要在一台服务器上启动Xinference supervisor，并在其他服务器上启动Xinference workers。

示例

要启动Xinference的本地实例，请运行

$ xinference

您还可以在分布式集群中部署Xinference。以下是步骤：

启动监督者：

$ xinference-supervisor

如果您只是使用Xinference提供的服务，您可以使用xinference_client包：

pip install xinference_client

启动工作进程：

$ xinference-worker

然后，使用命令行界面（CLI）启动模型。

示例：

$ xinference launch -n orca -s 3 -q q4_0

它将返回一个模型UID。然后你可以使用Xinference Embedding与LangChain。

示例：

from langchain_community.embeddings import XinferenceEmbeddings

xinference = XinferenceEmbeddings(
    server_url="http://0.0.0.0:9997",
    model_uid = {model_uid} # replace model_uid with the model UID return from launching the model
)

属性

方法

__init__([server_url, model_uid])

aembed_documents(texts)

异步嵌入搜索文档。

aembed_query(text)

异步嵌入查询文本。

embed_documents(texts)

使用Xinference嵌入文档列表。

embed_query(text)

使用Xinference嵌入文档查询。
Parameters:

  • server_url (str | None)

  • model_uid (str | None)

__init__(server_url: str | None = None, model_uid: str | None = None)[source]#
Parameters:

  • server_url (str | None)

  • model_uid (str | None)

async aembed_documents(texts: list[str]) → list[list[float]]#

异步嵌入搜索文档。

Parameters:

文本 (列表[字符串]) – 要嵌入的文本列表。

Returns:

嵌入列表。

Return type:

列表[列表[浮点数]]

async aembed_query(text: str) → list[float]#

异步嵌入查询文本。

Parameters:

文本 (str) – 要嵌入的文本。

Returns:

嵌入。

Return type:

列表[浮点数]

embed_documents(texts: List[str]) → List[List[float]][source]#

使用Xinference嵌入文档列表。 :param texts: 要嵌入的文本列表。

Returns:

嵌入列表，每个文本对应一个。

Parameters:

文本 (列表[字符串])

Return type:

列表[列表[float]]

embed_query(text: str) → List[float][source]#

使用Xinference嵌入文档查询。 :param text: 要嵌入的文本。

Returns:

文本的嵌入。

Parameters:

文本 (str)

Return type:

列表[float]

使用 XinferenceEmbeddings 的示例