Anyscale

Anyscale 是一个通过生产就绪的API运行、微调和扩展LLM的平台。 Anyscale Endpoints 以经济高效的方式提供许多开源模型。

Anyscale 还提供了 一个示例，展示了如何使用 Anyscale 设置 LangChain 以创建高级聊天代理。

安装与设置​

• 获取一个Anyscale服务URL、路由和API密钥，并将它们设置为环境变量（ANYSCALE_SERVICE_URL、ANYSCALE_SERVICE_ROUTE、ANYSCALE_SERVICE_TOKEN）。
• 请参阅Anyscale文档以获取更多详细信息。

我们需要安装openai包：

pip install openai

LLM​

查看使用示例。

from langchain_community.llms.anyscale import Anyscale

聊天模型​

查看使用示例。

from langchain_community.chat_models.anyscale import ChatAnyscale

嵌入​

查看使用示例。

from langchain_community.embeddings import AnyscaleEmbeddings