Oracle云基础设施生成式人工智能¶

Oracle云基础设施（OCI）生成式人工智能是一项完全托管的服务，提供一组最先进的、可定制的大型语言模型（LLMs），涵盖了广泛的用例，并可通过单个API访问。

使用OCI生成式人工智能服务，您可以访问现成的预训练模型，或者基于自己的数据在专用AI集群上创建和托管自己微调的定制模型。该服务和API的详细文档可在__这里和这里__找到。

本笔记本将解释如何使用OCI的生成式AI嵌入模型与LlamaIndex。

设置¶

如果您在colab上打开这个笔记本，您可能需要安装LlamaIndex 🦙。

In [ ]:

%pip install llama-index-embeddings-oci-genai

%pip install llama-index-embeddings-oci-genai

In [ ]:

!pip install llama-index

!pip install llama-index

您还需要安装OCI sdk。

In [ ]:

!pip install -U oci

!pip install -U oci

基本用法¶

In [ ]:

from llama_index.embeddings.oci_genai import OCIGenAIEmbeddings

embedding = OCIGenAIEmbeddings(
    model_name="cohere.embed-english-light-v3.0",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
)

e1 = embedding.get_text_embedding("This is a test document")
print(e1[-5:])

e2 = embedding.get_query_embedding("This is a test document")
print(e2[-5:])

docs = ["This is a test document", "This is another test document"]
e3 = embedding.get_text_embedding_batch(docs)
print(e3)

from llama_index.embeddings.oci_genai import OCIGenAIEmbeddings embedding = OCIGenAIEmbeddings( model_name="cohere.embed-english-light-v3.0", service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com", compartment_id="MY_OCID", ) e1 = embedding.get_text_embedding("This is a test document") print(e1[-5:]) e2 = embedding.get_query_embedding("This is a test document") print(e2[-5:]) docs = ["This is a test document", "This is another test document"] e3 = embedding.get_text_embedding_batch(docs) print(e3)