Skip to main content
Open In ColabOpen on GitHub

Oracle 云基础设施生成式 AI

Oracle 云基础设施 (OCI) 生成式人工智能是一项完全托管的服务,提供了一套最先进的、可定制的大型语言模型 (LLMs),涵盖了广泛的用例,并且可以通过单一 API 访问。 使用 OCI 生成式人工智能服务,您可以访问即用型的预训练模型,或基于您自己的数据在专用的 AI 集群上创建和托管您自己微调的自定义模型。服务和 API 的详细文档可在 这里这里 找到。

本笔记本解释了如何使用OCI的生成式AI模型与LangChain。

先决条件

我们需要安装oci sdk

!pip install -U oci

OCI 生成式 AI API 端点

https://inference.generativeai.us-chicago-1.oci.oraclecloud.com

认证

此langchain集成支持的身份验证方法有:

  1. API 密钥
  2. 会话令牌
  3. 实例主体
  4. 资源主体

这些遵循了标准SDK认证方法,详细内容请参见这里

用法

from langchain_community.embeddings import OCIGenAIEmbeddings

# use default authN method API-key
embeddings = OCIGenAIEmbeddings(
model_id="MY_EMBEDDING_MODEL",
service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
compartment_id="MY_OCID",
)


query = "This is a query in English."
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)
API Reference:OCIGenAIEmbeddings
# Use Session Token to authN
embeddings = OCIGenAIEmbeddings(
model_id="MY_EMBEDDING_MODEL",
service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
compartment_id="MY_OCID",
auth_type="SECURITY_TOKEN",
auth_profile="MY_PROFILE", # replace with your profile name
)


query = "This is a sample query"
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)

这个页面有帮助吗?