ChatOCIGenAI
本笔记本提供了快速入门OCIGenAI 聊天模型的概述。有关ChatOCIGenAI所有功能和配置的详细文档，请前往API参考。
Oracle 云基础设施 (OCI) 生成式 AI 是一项完全托管的服务，提供一套最先进的、可定制的大型语言模型 (LLMs)，涵盖广泛的用例，并通过单一 API 提供。使用 OCI 生成式 AI 服务，您可以访问即用型预训练模型，或基于您自己的数据在专用 AI 集群上创建和托管您自己微调的自定义模型。服务和 API 的详细文档可在 这里 和 这里 找到。
概述
集成详情
| 类 | 包 | 本地 | 可序列化 | JS支持 |
|---|---|---|---|---|
| ChatOCIGenAI | langchain-community | ❌ | ❌ | ❌ |
模型特性
| 工具调用 | 结构化输出 | JSON模式 | 图像输入 | 音频输入 | 视频输入 | 令牌级流式传输 | 原生异步 | 令牌使用 | Logprobs |
|---|---|---|---|---|---|---|---|---|---|
| ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ |
设置
要访问OCIGenAI模型，您需要安装oci和langchain-community包。
凭证
此集成支持的凭据和身份验证方法与其他OCI服务使用的相同，并遵循标准SDK身份验证方法，特别是API密钥、会话令牌、实例主体和资源主体。
API key 是上述示例中使用的默认认证方法。以下示例演示了如何使用不同的认证方法（会话令牌）
安装
LangChain OCIGenAI 集成位于 langchain-community 包中，您还需要安装 oci 包：
%pip install -qU langchain-community oci
实例化
现在我们可以实例化我们的模型对象并生成聊天完成：
from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
chat = ChatOCIGenAI(
model_id="cohere.command-r-16k",
service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
compartment_id="MY_OCID",
model_kwargs={"temperature": 0.7, "max_tokens": 500},
)
调用
messages = [
SystemMessage(content="your are an AI assistant."),
AIMessage(content="Hi there human!"),
HumanMessage(content="tell me a joke."),
]
response = chat.invoke(messages)
print(response.content)
链式调用
我们可以链式我们的模型与一个提示模板，如下所示：
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_template("Tell me a joke about {topic}")
chain = prompt | chat
response = chain.invoke({"topic": "dogs"})
print(response.content)
API Reference:ChatPromptTemplate
API参考
有关所有ChatOCIGenAI功能和配置的详细文档，请访问API参考：https://python.langchain.com/api_reference/community/chat_models/langchain_community.chat_models.oci_generative_ai.ChatOCIGenAI.html