DeepInfra

DeepInfra 使我们能够轻松运行 最新的机器学习模型。 DeepInfra 负责处理与运行、扩展和监控模型相关的所有繁重工作。用户可以专注于您的应用程序，并通过简单的 REST API 调用集成模型。

DeepInfra 提供了与 LangChain 集成的示例。

本页面介绍了如何在LangChain中使用DeepInfra生态系统。它分为两部分：安装和设置，然后是对特定DeepInfra包装器的引用。

安装与设置​

• 从此链接获取您的DeepInfra API密钥 这里.
• 获取一个DeepInfra API密钥并将其设置为环境变量 (DEEPINFRA_API_TOKEN)

可用模型​

DeepInfra 提供了一系列准备部署的开源LLMs。

你可以查看支持的模型用于 text-generation 和 embeddings。

您可以查看请求和响应参数的列表。

聊天模型 遵循 openai api

LLM​

查看使用示例。

from langchain_community.llms import DeepInfra

嵌入​

查看使用示例。

from langchain_community.embeddings import DeepInfraEmbeddings

聊天模型​

查看使用示例。

from langchain_community.chat_models import ChatDeepInfra