PipelineAI
PipelineAI 允许您在云端大规模运行您的机器学习模型。它还提供对多个LLM模型的API访问。
本笔记本介绍了如何将Langchain与PipelineAI结合使用。
PipelineAI 示例
此示例展示了PipelineAI如何与LangChain集成，并且它是由PipelineAI创建的。
设置
使用PipelineAI API（也称为Pipeline Cloud）需要pipeline-ai库。使用pip install pipeline-ai安装pipeline-ai。
# Install the package
%pip install --upgrade --quiet pipeline-ai
示例
导入
import os
from langchain_community.llms import PipelineAI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate
设置环境API密钥
确保从PipelineAI获取您的API密钥。查看云快速入门指南。您将获得30天的免费试用，包括10小时的无服务器GPU计算，以测试不同的模型。
os.environ["PIPELINE_API_KEY"] = "YOUR_API_KEY_HERE"
创建 PipelineAI 实例
在实例化PipelineAI时，您需要指定要使用的管道的ID或标签，例如pipeline_key = "public/gpt-j:base"。然后，您可以选择传递特定于管道的额外关键字参数：
llm = PipelineAI(pipeline_key="YOUR_PIPELINE_KEY", pipeline_kwargs={...})
创建一个提示模板
我们将为问答创建一个提示模板。
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
启动LLMChain
llm_chain = prompt | llm | StrOutputParser()
运行LLMChain
提供一个问题并运行LLMChain。
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
llm_chain.invoke(question)
相关
- LLM 概念指南
- LLM how-to guides