OCI数据科学模型部署端点

OCI数据科学 是一款完全托管且无服务器的平台，供数据科学团队在Oracle云基础设施中构建、训练和管理机器学习模型。

本笔记介绍了如何使用托管在OCI数据科学模型部署上的LLM。

为了进行身份验证，使用了oracle-ads 来自动加载调用端点的凭据。

!pip3 install oracle-ads

先决条件

部署模型

查看Oracle GitHub示例存储库 来了解如何在OCI数据科学模型部署上部署您的LLM。

策略

确保具有访问OCI数据科学模型部署端点所需的策略。

设置

vLLM

在部署模型后，您必须设置OCIModelDeploymentVLLM调用的以下必需参数：

• endpoint: 部署模型的模型HTTP端点，例如 https://<MD_OCID>/predict。

• model: 模型的位置。

文本生成推理（TGI）

您必须设置OCIModelDeploymentTGI调用的以下必需参数：

• endpoint: 部署模型的模型HTTP端点，例如 https://<MD_OCID>/predict。

身份验证

您可以通过ads或环境变量设置身份验证。当您在OCI数据科学笔记本会话中工作时，可以利用资源主体来访问其他OCI资源。查看这里 以查看更多选项。

示例

import ads
from langchain_community.llms import OCIModelDeploymentVLLM
# 通过ads设置身份验证
# 在配置了基于资源主体的身份验证的OCI服务中使用
ads.set_auth("resource_principal")
# 创建OCI模型部署端点的实例
# 用您自己的端点URI和模型名称替换
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")
# 运行LLM
llm.invoke("Who is the first president of United States?")

import os
from langchain_community.llms import OCIModelDeploymentTGI
# 通过环境变量设置身份验证
# 在从本地工作站或不支持资源主体的平台上工作时使用API密钥设置
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"
# 通过环境变量设置端点
# 用您自己的端点URI替换
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"
# 创建OCI模型部署端点的实例
llm = OCIModelDeploymentTGI()
# 运行LLM
llm.invoke("Who is the first president of United States?")