Skip to main content
Open on GitHub

Llama.cpp

llama.cpp python 库是一个简单的 Python 绑定，用于 @ggerganov 的 llama.cpp。

本包提供：

  • 通过ctypes接口访问C API的低级访问。
  • 用于文本完成的高级Python API
    • OpenAI-like API
    • LangChain 兼容性
    • LlamaIndex 兼容性
  • OpenAI 兼容的网页服务器
    • 本地 Copilot 替代方案
    • 支持函数调用
    • 支持视觉 API
    • 多种模型

安装与设置​

  • 安装Python包 
    pip install llama-cpp-python
  • 下载一个支持的模型，并按照说明将其转换为llama.cpp格式

聊天模型​

查看使用示例。

from langchain_community.chat_models import ChatLlamaCpp
API Reference:ChatLlamaCpp

大型语言模型​

查看一个使用示例。

from langchain_community.llms import LlamaCpp
API Reference:LlamaCpp

嵌入模型​

查看使用示例。

from langchain_community.embeddings import LlamaCppEmbeddings
API Reference:LlamaCppEmbeddings

这个页面有帮助吗？