PremAI
PremAI 是一个一体化平台，简化了创建由生成式AI驱动的强大、生产就绪的应用程序的过程。通过简化开发流程，PremAI 使您能够专注于增强用户体验并推动应用程序的整体增长。您可以快速开始使用我们的平台 这里。
ChatPremAI
本示例介绍如何使用LangChain与不同的聊天模型进行交互，使用ChatPremAI
安装和设置
我们首先安装langchain和premai-sdk。您可以输入以下命令进行安装：
pip install premai langchain
在继续之前，请确保您已经在PremAI上创建了账户并创建了一个项目。如果没有，请参考快速开始指南，开始在PremAI平台上的操作。创建您的第一个项目并获取您的API密钥。
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_community.chat_models import ChatPremAI
在LangChain中设置PremAI客户端
一旦我们导入了所需的模块，让我们设置我们的客户端。现在假设我们的project_id是8。但请确保使用您的项目ID，否则会抛出错误。
要使用langchain与prem，您不需要通过我们的聊天客户端传递任何模型名称或设置任何参数。默认情况下，它将使用在LaunchPad中使用的模型名称和参数。
注意：如果您在设置客户端时更改了
model或任何其他参数，如temperature或max_tokens，它将覆盖在LaunchPad中使用的现有默认配置。
import os
import getpass
if "PREMAI_API_KEY" not in os.environ:
os.environ["PREMAI_API_KEY"] = getpass.getpass("PremAI API Key:")
chat = ChatPremAI(project_id=1234, model_name="gpt-4o")
聊天完成
ChatPremAI 支持两种方法：invoke（与generate相同）和stream。
第一个将给我们一个静态的结果。而第二个将逐个流式传输令牌。以下是您可以生成类似聊天的完成方式。
human_message = HumanMessage(content="Who are you?")
response = chat.invoke([human_message])
print(response.content)
您可以在此处提供系统提示，如下所示：
system_message = SystemMessage(content="You are a friendly assistant.")
human_message = HumanMessage(content="Who are you?")
chat.invoke([system_message, human_message])
你也可以在调用模型时更改生成参数。以下是你可以如何做到这一点：
chat.invoke(
[system_message, human_message],
temperature = 0.7, max_tokens = 20, top_p = 0.95
)
如果你打算在这里放置系统提示，那么它将覆盖你在从平台部署应用程序时固定的系统提示。
原生RAG支持与Prem仓库
Prem 仓库允许用户上传文档（如 .txt、.pdf 等）并将这些仓库连接到 LLMs。你可以将 Prem 仓库视为本地的 RAG，其中每个仓库可以被视为一个向量数据库。你可以连接多个仓库。你可以了解更多关于仓库的信息 这里。
在langchain premai中也支持仓库。以下是你可以如何操作。
query = "Which models are used for dense retrieval"
repository_ids = [1985,]
repositories = dict(
ids=repository_ids,
similarity_threshold=0.3,
limit=3
)
首先，我们通过定义一些仓库ID来开始。确保这些ID是有效的仓库ID。您可以了解更多关于如何获取仓库ID的信息这里。
请注意：类似于
model_name，当你调用参数repositories时，你可能会覆盖在launchpad中连接的仓库。
现在，我们将仓库与我们的聊天对象连接起来，以调用基于RAG的生成。
import json
response = chat.invoke(query, max_tokens=100, repositories=repositories)
print(response.content)
print(json.dumps(response.response_metadata, indent=4))
这是输出的样子。
Dense retrieval models typically include:
1. **BERT-based Models**: Such as DPR (Dense Passage Retrieval) which uses BERT for encoding queries and passages.
2. **ColBERT**: A model that combines BERT with late interaction mechanisms.
3. **ANCE (Approximate Nearest Neighbor Negative Contrastive Estimation)**: Uses BERT and focuses on efficient retrieval.
4. **TCT-ColBERT**: A variant of ColBERT that uses a two-tower
{
"document_chunks": [
{
"repository_id": 1985,
"document_id": 1306,
"chunk_id": 173899,
"document_name": "[D] Difference between sparse and dense information\u2026",
"similarity_score": 0.3209080100059509,
"content": "with the difference or anywhere\nwhere I can read about it?\n\n\n 17 9\n\n\n u/ScotiabankCanada \u2022 Promoted\n\n\n Accelerate your study permit process\n with Scotiabank's Student GIC\n Program. We're here to help you tur\u2026\n\n\n startright.scotiabank.com Learn More\n\n\n Add a Comment\n\n\nSort by: Best\n\n\n DinosParkour \u2022 1y ago\n\n\n Dense Retrieval (DR) m"
}
]
}
因此，这也意味着在使用Prem平台时，您不需要自己构建RAG管道。Prem使用其自己的RAG技术，为检索增强生成提供一流的性能。
理想情况下，您不需要在这里连接存储库ID来获取检索增强生成。如果您已经在prem平台中连接了存储库，您仍然可以获得相同的结果。
流处理
在本节中，我们将了解如何使用langchain和PremAI流式传输令牌。以下是具体操作步骤。
import sys
for chunk in chat.stream("hello how are you"):
sys.stdout.write(chunk.content)
sys.stdout.flush()
与上述类似，如果你想覆盖系统提示和生成参数，你需要添加以下内容：
import sys
for chunk in chat.stream(
"hello how are you",
system_prompt = "You are an helpful assistant", temperature = 0.7, max_tokens = 20
):
sys.stdout.write(chunk.content)
sys.stdout.flush()
这将逐个流式传输令牌。
请注意：截至目前，不支持流式处理的RAG。然而，我们仍然通过我们的API支持它。您可以了解更多关于此的信息这里。
Prem 模板
编写提示模板可能会非常混乱。提示模板很长，难以管理，并且必须不断调整以改进并在整个应用程序中保持一致。
使用Prem，编写和管理提示可以变得非常简单。launchpad中的Templates标签可以帮助您编写所需的提示，并在SDK中使用这些提示来运行您的应用程序。您可以在此处阅读更多关于提示模板的信息here。
要在LangChain中原生使用Prem模板，您需要传递一个id给HumanMessage。这个id应该是您的提示模板变量的名称。HumanMessage中的content应该是该变量的值。
举个例子，如果你的提示模板是这样的：
Say hello to my name and say a feel-good quote
from my age. My name is: {name} and age is {age}
所以现在你的 human_messages 应该看起来像：
human_messages = [
HumanMessage(content="Shawn", id="name"),
HumanMessage(content="22", id="age")
]
将此 human_messages 传递给 ChatPremAI 客户端。请注意：不要忘记传递额外的 template_id 以使用 Prem 模板调用生成。如果您不了解 template_id，您可以在 我们的文档 中了解更多信息。以下是一个示例：
template_id = "78069ce8-xxxxx-xxxxx-xxxx-xxx"
response = chat.invoke([human_message], template_id=template_id)
Prem 模板也可用于流媒体。
Prem嵌入
在本节中，我们将介绍如何使用PremEmbeddings与LangChain访问不同的嵌入模型。让我们从导入模块和设置API密钥开始。
import os
import getpass
from langchain_community.embeddings import PremEmbeddings
if os.environ.get("PREMAI_API_KEY") is None:
os.environ["PREMAI_API_KEY"] = getpass.getpass("PremAI API Key:")
我们支持许多最先进的嵌入模型。您可以查看我们支持的LLM和嵌入模型列表这里。现在让我们在这个示例中使用text-embedding-3-large模型。
model = "text-embedding-3-large"
embedder = PremEmbeddings(project_id=8, model=model)
query = "Hello, this is a test query"
query_result = embedder.embed_query(query)
# Let's print the first five elements of the query embedding vector
print(query_result[:5])
与聊天不同，设置 model_name 参数对于 PremAIEmbeddings 是强制性的。
最后，让我们嵌入一些示例文档
documents = [
"This is document1",
"This is document2",
"This is document3"
]
doc_result = embedder.embed_documents(documents)
# Similar to the previous result, let's print the first five element
# of the first document vector
print(doc_result[0][:5])
print(f"Dimension of embeddings: {len(query_result)}")
嵌入的维度：3072
doc_result[:5]
结果:
[-0.02129288576543331, 0.0008162345038726926, -0.004556538071483374, 0.02918623760342598, -0.02547479420900345]
工具/函数调用
LangChain PremAI 支持工具/函数调用。工具/函数调用允许模型通过生成与用户定义模式匹配的输出来响应给定的提示。
注意：
当前版本的LangChain ChatPremAI不支持带有流式支持的功能/工具调用。流式支持以及功能调用将很快推出。
将工具传递给模型
为了传递工具并让LLM选择它需要调用的工具，我们需要传递一个工具模式。工具模式是函数定义以及关于函数功能的适当文档字符串，函数的每个参数是什么等。下面是一些带有模式的简单算术函数。
注意：
在定义函数/工具模式时，不要忘记添加有关函数参数的信息，否则会抛出错误。
from langchain_core.tools import tool
from pydantic import BaseModel, Field
# Define the schema for function arguments
class OperationInput(BaseModel):
a: int = Field(description="First number")
b: int = Field(description="Second number")
# Now define the function where schema for argument will be OperationInput
@tool("add", args_schema=OperationInput, return_direct=True)
def add(a: int, b: int) -> int:
"""Adds a and b.
Args:
a: first int
b: second int
"""
return a + b
@tool("multiply", args_schema=OperationInput, return_direct=True)
def multiply(a: int, b: int) -> int:
"""Multiplies a and b.
Args:
a: first int
b: second int
"""
return a * b
使用我们的LLM绑定工具模式
我们现在将使用bind_tools方法将上述函数转换为“工具”并将其与模型绑定。这意味着每次调用模型时，我们都会传递这些工具信息。
tools = [add, multiply]
llm_with_tools = chat.bind_tools(tools)
之后，我们从模型中获取响应，该响应现在已与工具绑定。
query = "What is 3 * 12? Also, what is 11 + 49?"
messages = [HumanMessage(query)]
ai_msg = llm_with_tools.invoke(messages)
正如我们所看到的，当我们的聊天模型与工具绑定时，根据给定的提示，它会依次调用正确的工具集。
ai_msg.tool_calls
输出
[{'name': 'multiply',
'args': {'a': 3, 'b': 12},
'id': 'call_A9FL20u12lz6TpOLaiS6rFa8'},
{'name': 'add',
'args': {'a': 11, 'b': 49},
'id': 'call_MPKYGLHbf39csJIyb5BZ9xIk'}]
我们将上面显示的消息附加到LLM中，作为上下文，使LLM知道它调用了哪些函数。
messages.append(ai_msg)
由于工具调用分为两个阶段，其中：
-
在我们的第一次调用中，我们收集了LLM决定使用的所有工具，以便它可以获得结果作为附加上下文，从而提供更准确且无幻觉的结果。
-
在我们的第二次调用中，我们将解析由LLM决定的那组工具并运行它们（在我们的案例中，这将是我们定义的函数，带有LLM提取的参数），并将此结果传递给LLM
from langchain_core.messages import ToolMessage
for tool_call in ai_msg.tool_calls:
selected_tool = {"add": add, "multiply": multiply}[tool_call["name"].lower()]
tool_output = selected_tool.invoke(tool_call["args"])
messages.append(ToolMessage(tool_output, tool_call_id=tool_call["id"]))
最后，我们调用LLM（与工具绑定），并在其上下文中添加函数响应。
response = llm_with_tools.invoke(messages)
print(response.content)
输出
The final answers are:
- 3 * 12 = 36
- 11 + 49 = 60
定义工具模式：Pydantic 类 Optional
上面我们已经展示了如何使用tool装饰器定义模式，然而我们也可以使用Pydantic来等效地定义模式。当你的工具输入更复杂时，Pydantic非常有用：
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
class add(BaseModel):
"""Add two integers together."""
a: int = Field(..., description="First integer")
b: int = Field(..., description="Second integer")
class multiply(BaseModel):
"""Multiply two integers together."""
a: int = Field(..., description="First integer")
b: int = Field(..., description="Second integer")
tools = [add, multiply]
现在，我们可以将它们绑定到聊天模型并直接获取结果：
chain = llm_with_tools | PydanticToolsParser(tools=[multiply, add])
chain.invoke(query)
输出
[multiply(a=3, b=12), add(a=11, b=49)]
现在，如上所述，我们解析并运行这些函数，并再次调用LLM以获取结果。