Skip to main content
Open In ColabOpen on GitHub

花瓣

Petals 在家中以BitTorrent风格运行100B+的语言模型。

本笔记本介绍了如何将Langchain与Petals结合使用。

安装 petals​

使用Petals API需要petals包。使用pip3 install petals安装petals。

对于Apple Silicon（M1/M2）用户，请按照此指南https://github.com/bigscience-workshop/petals/issues/147#issuecomment-1365379642安装petals。

!pip3 install petals

导入​

import os

from langchain.chains import LLMChain
from langchain_community.llms import Petals
from langchain_core.prompts import PromptTemplate
API Reference:LLMChain | Petals | PromptTemplate

设置环境API密钥​

确保从Huggingface获取您的API密钥。

from getpass import getpass

HUGGINGFACE_API_KEY = getpass()
 ········
os.environ["HUGGINGFACE_API_KEY"] = HUGGINGFACE_API_KEY

创建 Petals 实例​

您可以指定不同的参数，例如模型名称、最大新令牌数、温度等。

# this can take several minutes to download big files!

llm = Petals(model_name="bigscience/bloom-petals")
Downloading:   1%|▏                        | 40.8M/7.19G [00:24<15:44, 7.57MB/s]

创建一个提示模板​

我们将为问答创建一个提示模板。

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

启动LLMChain​

llm_chain = LLMChain(prompt=prompt, llm=llm)

运行LLMChain​

提供一个问题并运行LLMChain。

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.run(question)

这个页面有帮助吗？