ForefrontAI

Forefront 平台使您能够微调和使用开源大型语言模型。

本笔记本介绍如何使用Langchain与ForefrontAI。

导入

import os

from langchain.chains import LLMChain
from langchain_community.llms import ForefrontAI
from langchain_core.prompts import PromptTemplate

确保从ForefrontAI获取您的API密钥。您将获得5天的免费试用期来测试不同的模型。

# get a new token: https://docs.forefront.ai/forefront/api-reference/authentication

from getpass import getpass

FOREFRONTAI_API_KEY = getpass()

os.environ["FOREFRONTAI_API_KEY"] = FOREFRONTAI_API_KEY

您可以指定不同的参数，例如模型端点URL、长度、温度等。您必须提供一个端点URL。

llm = ForefrontAI(endpoint_url="YOUR ENDPOINT URL HERE")

我们将为问答创建一个提示模板。

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

提供一个问题并运行LLMChain。

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.run(question)