Skip to main content
Open In ColabOpen on GitHub

Llama.cpp

llama.cpp python 库是一个简单的 Python 绑定，用于 @ggerganov 的 llama.cpp。

本包提供：

  • 通过ctypes接口访问C API的低级访问。
  • 用于文本完成的高级Python API
    • OpenAI类似的API
    • LangChain兼容性
    • LlamaIndex兼容性
  • OpenAI 兼容的网页服务器
    • 本地 Copilot 替代方案
    • 函数调用支持
    • 视觉 API 支持
    • 多种模型
%pip install --upgrade --quiet  llama-cpp-python
from langchain_community.embeddings import LlamaCppEmbeddings
API Reference:LlamaCppEmbeddings
llama = LlamaCppEmbeddings(model_path="/path/to/model/ggml-model-q4_0.bin")
text = "This is a test document."
query_result = llama.embed_query(text)
doc_result = llama.embed_documents([text])

这个页面有帮助吗？