Maritalk
介绍
MariTalk 是由巴西公司 Maritaca AI 开发的助手。 MariTalk 基于经过专门训练以良好理解葡萄牙语的语言模型。
本笔记本通过两个示例演示了如何使用MariTalk与LangChain：
- 一个简单的例子，展示如何使用MariTalk执行任务。
- LLM + RAG: 第二个示例展示了如何回答一个答案存在于长文档中的问题，该文档超出了MariTalk的令牌限制。为此，我们将使用一个简单的搜索器（BM25）首先在文档中搜索最相关的部分，然后将它们提供给MariTalk进行回答。
安装
首先，使用以下命令安装LangChain库（及其所有依赖项）：
!pip install langchain langchain-core langchain-community httpx
API 密钥
您需要一个可以从chat.maritaca.ai获取的API密钥（“Chaves da API”部分）。
示例 1 - 宠物名字建议
让我们定义我们的语言模型，ChatMaritalk，并使用您的API密钥进行配置。
from langchain_community.chat_models import ChatMaritalk
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts.chat import ChatPromptTemplate
llm = ChatMaritalk(
model="sabia-2-medium", # Available models: sabia-2-small and sabia-2-medium
api_key="", # Insert your API key here
temperature=0.7,
max_tokens=100,
)
output_parser = StrOutputParser()
chat_prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"You are an assistant specialized in suggesting pet names. Given the animal, you must suggest 4 names.",
),
("human", "I have a {animal}"),
]
)
chain = chat_prompt | llm | output_parser
response = chain.invoke({"animal": "dog"})
print(response) # should answer something like "1. Max\n2. Bella\n3. Charlie\n4. Rocky"
流生成
对于涉及生成长文本的任务，例如创建一篇长篇文章或翻译一份大型文档，随着文本的生成逐步接收响应，而不是等待完整的文本，可能会更有优势。这使得应用程序更加响应迅速和高效，特别是在生成的文本非常长时。我们提供了两种方法来满足这一需求：一种是同步的，另一种是异步的。
同步:
from langchain_core.messages import HumanMessage
messages = [HumanMessage(content="Suggest 3 names for my dog")]
for chunk in llm.stream(messages):
print(chunk.content, end="", flush=True)
API Reference:HumanMessage
异步:
from langchain_core.messages import HumanMessage
async def async_invoke_chain(animal: str):
messages = [HumanMessage(content=f"Suggest 3 names for my {animal}")]
async for chunk in llm._astream(messages):
print(chunk.message.content, end="", flush=True)
await async_invoke_chain("dog")
API Reference:HumanMessage
示例 2 - RAG + LLM: UNICAMP 2024 入学考试问答系统
对于这个例子，我们需要安装一些额外的库：
!pip install unstructured rank_bm25 pdf2image pdfminer-six pikepdf pypdf unstructured_inference fastapi kaleido uvicorn "pillow<10.1.0" pillow_heif -q
加载数据库
第一步是使用通知中的信息创建一个数据库。为此，我们将从COMVEST网站下载通知，并将提取的文本分割成500个字符的窗口。
from langchain_community.document_loaders import OnlinePDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
# Loading the COMVEST 2024 notice
loader = OnlinePDFLoader(
"https://www.comvest.unicamp.br/wp-content/uploads/2023/10/31-2023-Dispoe-sobre-o-Vestibular-Unicamp-2024_com-retificacao.pdf"
)
data = loader.load()
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500, chunk_overlap=100, separators=["\n", " ", ""]
)
texts = text_splitter.split_documents(data)
API Reference:OnlinePDFLoader | RecursiveCharacterTextSplitter
创建搜索器
现在我们有了数据库，我们需要一个搜索器。在这个例子中，我们将使用一个简单的BM25作为搜索系统，但这可以被任何其他搜索器（例如通过嵌入进行搜索）所替代。
from langchain_community.retrievers import BM25Retriever
retriever = BM25Retriever.from_documents(texts)
API Reference:BM25Retriever
结合搜索系统 + LLM
现在我们有了我们的搜索器，我们只需要实现一个指定任务的提示并调用链。
from langchain.chains.question_answering import load_qa_chain
prompt = """Baseado nos seguintes documentos, responda a pergunta abaixo.
{context}
Pergunta: {query}
"""
qa_prompt = ChatPromptTemplate.from_messages([("human", prompt)])
chain = load_qa_chain(llm, chain_type="stuff", verbose=True, prompt=qa_prompt)
query = "Qual o tempo máximo para realização da prova?"
docs = retriever.invoke(query)
chain.invoke(
{"input_documents": docs, "query": query}
) # Should output something like: "O tempo máximo para realização da prova é de 5 horas."
API Reference:load_qa_chain