Ollama

Ollama 允许你在本地运行开源的大型语言模型，例如 Llama3.1。

Ollama 将模型权重、配置和数据打包成一个单一的包，由 Modelfile 定义。 它优化了设置和配置细节，包括 GPU 使用。 有关支持的模型和模型变体的完整列表，请参阅 Ollama 模型库。

查看本指南了解更多关于如何在LangChain中使用Ollama的详细信息。

安装与设置​

Ollama 安装​

按照这些说明来设置并运行本地的Ollama实例。

Ollama 将自动作为后台服务启动，如果此功能被禁用，请运行：

# export OLLAMA_HOST=127.0.0.1 # environment variable to set ollama host
# export OLLAMA_PORT=11434 # environment variable to set the ollama port
ollama serve

启动ollama后，运行ollama pull 从Ollama模型库下载模型。

ollama pull llama3.1

我们现在准备安装langchain-ollama合作伙伴包并运行模型。

Ollama LangChain 合作伙伴包安装​

使用以下命令安装集成包：

pip install langchain-ollama

LLM​

from langchain_ollama.llms import OllamaLLM

查看笔记本示例 这里。

聊天模型​

聊天 Ollama​

from langchain_ollama.chat_models import ChatOllama

查看笔记本示例 这里。

Ollama 工具调用​

Ollama 工具调用 使用 OpenAI 兼容的 Web 服务器规范，并且可以与 默认的 BaseChatModel.bind_tools() 方法一起使用， 如 这里 所述。 请确保选择一个支持 工具调用 的 ollama 模型。

嵌入模型​

from langchain_community.embeddings import OllamaEmbeddings

查看笔记本示例 这里。