CerebriumAI

Cerebrium 是 AWS Sagemaker 的替代品。它还提供了对多个LLM模型的API访问。

本笔记本介绍了如何将Langchain与CerebriumAI结合使用。

安装 cerebrium

使用CerebriumAI API需要cerebrium包。使用pip3 install cerebrium安装cerebrium。

# Install the package
!pip3 install cerebrium

import os

from langchain.chains import LLMChain
from langchain_community.llms import CerebriumAI
from langchain_core.prompts import PromptTemplate

确保从CerebriumAI获取您的API密钥。请参阅这里。您将获得1小时的无服务器GPU计算免费试用，以测试不同的模型。

os.environ["CEREBRIUMAI_API_KEY"] = "YOUR_KEY_HERE"

您可以指定不同的参数，例如模型端点URL、最大长度、温度等。您必须提供一个端点URL。

llm = CerebriumAI(endpoint_url="YOUR ENDPOINT URL HERE")

我们将为问答创建一个提示模板。

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

提供一个问题并运行LLMChain。

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.run(question)