Skip to main content

NVIDIA

NVIDIA为LangChain提供了一个集成包：langchain-nvidia-ai-endpoints。

NVIDIA AI基础模型端点​

NVIDIA AI基础模型端点为用户提供了访问NVIDIA托管的API端点的便利，用于NVIDIA AI基础模型，如Mixtral 8x7B、Llama 2、Stable Diffusion等。这些模型托管在NVIDIA API目录上，经过优化、测试并托管在NVIDIA AI平台上，使其快速且易于评估，进一步定制，并在任何加速堆栈上以最佳性能无缝运行。

使用NVIDIA AI基础模型端点，您可以从在NVIDIA DGX Cloud上运行的完全加速堆栈中快速获得结果。一旦定制完成，这些模型可以在具有企业级安全性、稳定性和支持的任何地方部署，使用NVIDIA AI Enterprise。

一些NVIDIA AI基础模型直接在LangChain中得到支持，并具有熟悉的API。

支持的模型可以在build.nvidia.com中找到。

这些模型可以通过langchain-nvidia-ai-endpoints包访问，如下所示。

设置​

  1. 在NVIDIA创建一个免费账户，该账户托管NVIDIA AI基础模型

  2. 点击您选择的模型

  3. 在Input下选择Python选项卡，然后点击Get API Key。接着点击Generate Key。

  4. 复制并保存生成的密钥为NVIDIA_API_KEY。从那里，您应该可以访问端点。

export NVIDIA_API_KEY=nvapi-XXXXXXXXXXXXXXXXXXXXXXXXXX
  • 安装一个包：
pip install -U langchain-nvidia-ai-endpoints

聊天模型​

查看一个使用示例。

from langchain_nvidia_ai_endpoints import ChatNVIDIA
llm = ChatNVIDIA(model="mixtral_8x7b")
result = llm.invoke("Write a ballad about LangChain.")
print(result.content)

嵌入模型​

查看一个使用示例。

from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings

Was this page helpful?


You can leave detailed feedback on GitHub.