Yuan2.0
本笔记本展示了如何在LangChain中使用YUAN2 API与langchain.chat_models.ChatYuan2。
Yuan2.0 是由IEIT系统开发的新一代基础大语言模型。我们已经发布了所有三个模型，Yuan 2.0-102B、Yuan 2.0-51B 和 Yuan 2.0-2B。并且我们为其他开发者提供了预训练、微调和推理服务的相关脚本。Yuan2.0 基于 Yuan1.0，利用更广泛的高质量预训练数据和指令微调数据集，以增强模型对语义、数学、推理、代码、知识等方面的理解。
入门指南
安装
首先，Yuan2.0 提供了一个与 OpenAI 兼容的 API，我们通过使用 OpenAI 客户端将 ChatYuan2 集成到 langchain 聊天模型中。 因此，请确保您的 Python 环境中安装了 openai 包。运行以下命令：
%pip install --upgrade --quiet openai
导入所需的模块
安装后，将必要的模块导入到您的Python脚本中：
from langchain_community.chat_models import ChatYuan2
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
设置您的API服务器
按照yuan2 openai api server设置您的OpenAI兼容API服务器。
如果您在本地部署了API服务器，您可以简单地设置yuan2_api_key="EMPTY"或任何您想要的内容。
只需确保yuan2_api_base设置正确即可。
yuan2_api_key = "your_api_key"
yuan2_api_base = "http://127.0.0.1:8001/v1"
初始化ChatYuan2模型
以下是初始化聊天模型的方法：
chat = ChatYuan2(
yuan2_api_base="http://127.0.0.1:8001/v1",
temperature=1.0,
model_name="yuan2",
max_retries=3,
streaming=False,
)
基本用法
使用系统和人类消息调用模型，如下所示：
messages = [
SystemMessage(content="你是一个人工智能助手。"),
HumanMessage(content="你好，你是谁？"),
]
print(chat.invoke(messages))
流式处理的基本用法
为了持续交互，请使用流式功能：
from langchain_core.callbacks import StreamingStdOutCallbackHandler
chat = ChatYuan2(
yuan2_api_base="http://127.0.0.1:8001/v1",
temperature=1.0,
model_name="yuan2",
max_retries=3,
streaming=True,
callbacks=[StreamingStdOutCallbackHandler()],
)
messages = [
SystemMessage(content="你是个旅游小助手。"),
HumanMessage(content="给我介绍一下北京有哪些好玩的。"),
]
API Reference:StreamingStdOutCallbackHandler
chat.invoke(messages)
高级功能
异步调用的使用
使用非阻塞调用来调用模型，如下所示：
async def basic_agenerate():
chat = ChatYuan2(
yuan2_api_base="http://127.0.0.1:8001/v1",
temperature=1.0,
model_name="yuan2",
max_retries=3,
)
messages = [
[
SystemMessage(content="你是个旅游小助手。"),
HumanMessage(content="给我介绍一下北京有哪些好玩的。"),
]
]
result = await chat.agenerate(messages)
print(result)
import asyncio
asyncio.run(basic_agenerate())
与提示模板的使用
使用非阻塞调用调用模型，并使用如下聊天模板：
async def ainvoke_with_prompt_template():
from langchain_core.prompts.chat import (
ChatPromptTemplate,
)
chat = ChatYuan2(
yuan2_api_base="http://127.0.0.1:8001/v1",
temperature=1.0,
model_name="yuan2",
max_retries=3,
)
prompt = ChatPromptTemplate.from_messages(
[
("system", "你是一个诗人，擅长写诗。"),
("human", "给我写首诗，主题是{theme}。"),
]
)
chain = prompt | chat
result = await chain.ainvoke({"theme": "明月"})
print(f"type(result): {type(result)}; {result}")
API Reference:ChatPromptTemplate
asyncio.run(ainvoke_with_prompt_template())
在流式处理中使用异步调用的用法
对于带有流式输出的非阻塞调用，请使用 astream 方法：
async def basic_astream():
chat = ChatYuan2(
yuan2_api_base="http://127.0.0.1:8001/v1",
temperature=1.0,
model_name="yuan2",
max_retries=3,
)
messages = [
SystemMessage(content="你是个旅游小助手。"),
HumanMessage(content="给我介绍一下北京有哪些好玩的。"),
]
result = chat.astream(messages)
async for chunk in result:
print(chunk.content, end="", flush=True)
import asyncio
asyncio.run(basic_astream())