Azure OpenAI
本页面介绍了如何将LangChain与Azure OpenAI一起使用。
Azure OpenAI API 与 OpenAI 的 API 兼容。openai
Python 包使得使用 OpenAI 和 Azure OpenAI 变得容易。你可以像调用 OpenAI 一样调用 Azure OpenAI,除了下面提到的例外情况。
API 配置
你可以通过环境变量配置openai
包以使用Azure OpenAI。以下是针对bash
的配置:
# The API version you want to use: set this to `2023-12-01-preview` for the released version.
export OPENAI_API_VERSION=2023-12-01-preview
# The base URL for your Azure OpenAI resource. You can find this in the Azure portal under your Azure OpenAI resource.
export AZURE_OPENAI_ENDPOINT=https://your-resource-name.openai.azure.com
# The API key for your Azure OpenAI resource. You can find this in the Azure portal under your Azure OpenAI resource.
export AZURE_OPENAI_API_KEY=<your Azure OpenAI API key>
或者,您可以直接在运行的Python环境中配置API:
import os
os.environ["OPENAI_API_VERSION"] = "2023-12-01-preview"
Azure Active Directory 认证
有两种方式可以验证到Azure OpenAI:
- API 密钥
- Azure Active Directory (AAD)
使用API密钥是最简单的入门方式。您可以在Azure门户中的Azure OpenAI资源下找到您的API密钥。
然而,如果您有复杂的安全需求 - 您可能希望使用Azure Active Directory。您可以在此处找到有关如何将AAD与Azure OpenAI一起使用的更多信息here。
如果您在本地开发,您需要安装Azure CLI并登录。您可以在此处安装Azure CLI here。然后,运行az login
进行登录。
添加一个Azure角色分配Cognitive Services OpenAI User
,范围限定为您的Azure OpenAI资源。这将允许您从AAD获取令牌以与Azure OpenAI一起使用。您可以将此角色分配授予用户、组、服务主体或托管身份。有关Azure OpenAI RBAC角色的更多信息,请参见这里。
要在Python中使用LangChain的AAD,请安装azure-identity
包。然后,将OPENAI_API_TYPE
设置为azure_ad
。接下来,使用DefaultAzureCredential
类通过调用get_token
从AAD获取令牌,如下所示。最后,将OPENAI_API_KEY
环境变量设置为令牌值。
import os
from azure.identity import DefaultAzureCredential
# Get the Azure Credential
credential = DefaultAzureCredential()
# Set the API type to `azure_ad`
os.environ["OPENAI_API_TYPE"] = "azure_ad"
# Set the API_KEY to the token from the Azure credential
os.environ["OPENAI_API_KEY"] = credential.get_token("https://cognitiveservices.azure.com/.default").token
DefaultAzureCredential
类是开始使用 AAD 身份验证的简单方法。如果需要,您还可以自定义凭据链。在下面显示的示例中,我们首先尝试使用托管身份,然后回退到 Azure CLI。如果您在 Azure 中运行代码,但希望在本地开发,这将非常有用。
from azure.identity import ChainedTokenCredential, ManagedIdentityCredential, AzureCliCredential
credential = ChainedTokenCredential(
ManagedIdentityCredential(),
AzureCliCredential()
)
部署
使用 Azure OpenAI,您可以设置自己的 GPT-3 和 Codex 模型的部署。在调用 API 时,您需要指定要使用的部署。
注意: 这些文档适用于Azure文本补全模型。像GPT-4这样的模型是聊天模型。它们的接口略有不同,可以通过AzureChatOpenAI
类访问。有关Azure聊天的文档,请参阅Azure Chat OpenAI文档。
假设您的部署名称是 gpt-35-turbo-instruct-prod
。在 openai
Python API 中,您可以使用 engine
参数指定此部署。例如:
import openai
client = openai.AzureOpenAI(
api_version="2023-12-01-preview",
)
response = client.completions.create(
model="gpt-35-turbo-instruct-prod",
prompt="Test prompt"
)
%pip install --upgrade --quiet langchain-openai
import os
os.environ["OPENAI_API_VERSION"] = "2023-12-01-preview"
os.environ["AZURE_OPENAI_ENDPOINT"] = "..."
os.environ["AZURE_OPENAI_API_KEY"] = "..."
# Import Azure OpenAI
from langchain_openai import AzureOpenAI
# Create an instance of Azure OpenAI
# Replace the deployment name with your own
llm = AzureOpenAI(
deployment_name="gpt-35-turbo-instruct-0914",
)
# Run the LLM
llm.invoke("Tell me a joke")
" Why couldn't the bicycle stand up by itself?\n\nBecause it was two-tired!"
我们也可以打印LLM并查看其自定义打印。
print(llm)
[1mAzureOpenAI[0m
Params: {'deployment_name': 'gpt-35-turbo-instruct-0914', 'model_name': 'gpt-3.5-turbo-instruct', 'temperature': 0.7, 'top_p': 1, 'frequency_penalty': 0, 'presence_penalty': 0, 'n': 1, 'logit_bias': {}, 'max_tokens': 256}
相关
- LLM 概念指南
- LLM how-to guides