NVIDIA

这将帮助您开始使用NVIDIA的模型。有关所有NVIDIA功能和配置的详细文档，请访问API参考。

概述

langchain-nvidia-ai-endpoints 包包含 LangChain 集成，用于在 NVIDIA NIM 推理微服务上构建应用程序的模型。这些模型由 NVIDIA 优化，以在 NVIDIA 加速基础设施上提供最佳性能，并作为 NIM 部署，NIM 是一个易于使用的预构建容器，可以在 NVIDIA 加速基础设施上使用单个命令部署到任何地方。

NVIDIA 托管的 NIM 部署可以在 NVIDIA API 目录上进行测试。测试完成后，可以使用 NVIDIA AI Enterprise 许可证从 NVIDIA 的 API 目录中导出 NIM，并在本地或云端运行，使企业拥有并完全控制其知识产权和 AI 应用程序。

NIMs 以每个模型为基础打包为容器镜像，并通过 NVIDIA NGC 目录作为 NGC 容器镜像分发。 NIMs 的核心是提供简单、一致且熟悉的 API，用于在 AI 模型上运行推理。

本示例介绍了如何使用LangChain通过NVIDIA类与NVIDIA支持进行交互。

有关通过此API访问llm模型的更多信息，请查看NVIDIA文档。

集成详情

类	包	本地	可序列化	JS支持	包下载	包最新
NVIDIA	langchain_nvidia_ai_endpoints	✅	测试版	❌

模型特性

JSON 模式	图像输入	音频输入	视频输入	令牌级流式传输	原生异步	令牌使用	Logprobs
❌	✅	❌	❌	✅	❌	❌	❌

设置

开始使用：

创建一个免费账户，使用NVIDIA，该平台托管NVIDIA AI基础模型。
点击您选择的模型。
在Input下选择Python标签，然后点击Get API Key。接着点击Generate Key。
复制并保存生成的密钥为NVIDIA_API_KEY。之后，您应该可以访问这些端点。

凭证

import getpass
import os

if not os.getenv("NVIDIA_API_KEY"):
    # Note: the API key should start with "nvapi-"
    os.environ["NVIDIA_API_KEY"] = getpass.getpass("Enter your NVIDIA API key: ")

安装

LangChain NVIDIA AI 端点的集成位于 langchain_nvidia_ai_endpoints 包中：

%pip install --upgrade --quiet langchain-nvidia-ai-endpoints

实例化

查看 LLM 以获取完整功能。

from langchain_nvidia_ai_endpoints import NVIDIA

API Reference:NVIDIA

llm = NVIDIA().bind(max_tokens=256)
llm

调用

prompt = "# Function that does quicksort written in Rust without comments:"

print(llm.invoke(prompt))

流、批处理和异步

这些模型原生支持流式处理，与所有LangChain LLM一样，它们提供了一个批处理方法以处理并发请求，以及用于调用、流式和批处理的异步方法。以下是一些示例。

for chunk in llm.stream(prompt):
    print(chunk, end="", flush=True)

llm.batch([prompt])

await llm.ainvoke(prompt)

async for chunk in llm.astream(prompt):
    print(chunk, end="", flush=True)

await llm.abatch([prompt])

async for chunk in llm.astream_log(prompt):
    print(chunk)

response = llm.invoke(
    "X_train, y_train, X_test, y_test = train_test_split(X, y, test_size=0.1) #Train a logistic regression model, predict the labels on the test set and compute the accuracy score"
)
print(response)

支持的模型

查询 available_models 仍然会返回您的API凭证提供的所有其他模型。

NVIDIA.get_available_models()
# llm.get_available_models()

链式调用

我们可以链式我们的模型与一个提示模板，如下所示：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

chain = prompt | llm
chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "I love programming.",
    }
)

API Reference:ChatPromptTemplate

API 参考

有关所有NVIDIA功能和配置的详细文档，请访问API参考：https://python.langchain.com/api_reference/nvidia_ai_endpoints/llms/langchain_nvidia_ai_endpoints.llms.NVIDIA.html

LLM 概念指南
LLM how-to guides

概述​

集成详情​

模型特性​

设置​

凭证​

安装​

实例化​

调用​

流、批处理和异步​

支持的模型​

链式调用​

API 参考​

相关​

这个页面有帮助吗？

概述