Hugging Face 文本嵌入服务器

Chroma 提供了一个方便的包装器，用于 HuggingFace 文本嵌入服务器，这是一个通过 REST API 提供文本嵌入的独立服务器。你可以在这里了解更多信息。

设置服务器#

要在本地运行嵌入服务器，你可以从 Chroma 仓库的根目录运行以下命令。docker compose 命令将同时运行 Chroma 和嵌入服务器。

Command Line

或者

Command Line

上述 docker 命令将使用 BAAI/bge-small-en-v1.5 模型运行服务器。你可以在这里找到更多关于在 docker 中运行服务器的信息。

python

嵌入模型在服务器端配置。查看 examples/server_side_embeddings/huggingface/docker-compose.yml 中的 docker-compose 文件，了解如何配置服务器的示例。